Expert Data Engineer

O projekcie: Szukamy osób na stanowisko Expert Data Engineer, które potrafią skutecznie współpracować z zespołem i osiągać cele dzięki dobrej komunikacji oraz pracy w środowisku Agile (SAFe). Poszukujemy osób ciekawych nowych rozwiązań, otwartych na potrzeby innych i nastawionych na dostarczanie realnej wartości biznesowej. Ważna jest dla nas dbałość o jakość, ciągłe doskonalenie tworzonych rozwiązań oraz wysoki poziom samomotywacji w codziennej pracy nad nowoczesnymi systemami danych. Wymagania: - Doświadczenie w Spark & Scala – minimum 5 lat - Doświadczenie w Python – minimum 7 lat - Doświadczenie w Linux – minimum 5 lat - Doświadczenie z rozproszonymi silnikami przetwarzania danych (np. Spark) - Doświadczenie z Hadoop oraz jego ekosystemem (Hive, Oozie, MapReduce, YARN, EMR, Sqoop itd.) - Bardzo dobre / zaawansowane umiejętności SQL - Doświadczenie w tworzeniu data flow - Ekspercka znajomość Bitbucket i Git - Certyfikat AWS lub doświadczenie w pracy z AWS - Doświadczenie w testach jednostkowych (JUnit 5, Mockito, Spark testing) - Znajomość strategii wersjonowania kodu i branching strategy - Zaawansowana znajomość języka angielskiego. Codzienne zadania: - Budowanie systemów i aplikacji danych wspierających procesy podejmowania decyzji. - Tworzenie i utrzymywanie pipeline’ów danych w chmurach publicznych, takich jak AWS. - Budowanie rozproszonych i silnie zrównoleglonych pipeline’ów Big Data, które przetwarzają ogromne ilości danych (zarówno ustrukturyzowanych, jak i nieustrukturyzowanych) w czasie zbliżonym do rzeczywistego. - Udział w migracji danych z infrastruktury on-premise do chmur publicznych oraz tworzenie komponentów centralnych platform danych przedsiębiorstwa. - Wykorzystywanie Spark do wzbogacania i transformacji danych korporacyjnych, aby umożliwić wyszukiwanie, wizualizację danych i zaawansowaną analitykę. - Ścisła współpraca z analitykami oraz interesariuszami biznesowymi przy tworzeniu modeli analitycznych. - Ciągłe dostarczanie rozwiązań na platformach Hadoop i innych platformach Big Data. - Automatyzowanie procesów tam, gdzie to możliwe, tak aby były powtarzalne i niezawodne. - Ścisła współpraca z zespołem QA.