Azure DataBricks Engineer
⚲ Kraków, Wrocław, Poznań, Gdańsk, Warszawa, Łódź, Białystok, Bydgoszcz, Katowice, Lublin
28 560 - 31 920 PLN netto (B2B)
Wymagania
- 8+ lat doświadczenia jako Data Engineer lub w rolach pokrewnych, w tym w projektach transformacyjnych i migracyjnych
- minimum 3-4 lata doświadczenia z Databricks i Apache Spark (klastry, workspaces, bezpieczeństwo, migracje, ETL, integracje, PySpark, optymalizacja zapytań)
- bardzo dobra znajomość Pythona
- doświadczenie z Delta Lake oraz Unity Catalog lub podobnymi rozwiązaniami governance
- doświadczenie z Delta Live Tables lub podobnymi narzędziami
- doświadczenie w Azure (Data Factory, Synapse, Logic Apps, Data Lake) i/lub AWS (Redshift, Athena, Glue)
- angielski umożliwiający swobodną komunikację w zespole
Mile widziane
- doświadczenie z YellowBrick, SSIS, Boomi lub innymi systemami legacy
Opis stanowiska
Praca przy projektach migracyjnych i optymalizacyjnych na Databricks dla klienta z USA, głównie z branży medycznej i finansowej. Będziesz projektować i utrzymywać Data Lakehouse w architekturze Bronze/Silver/Gold, budować pipeline'y ETL/ELT w PySpark i DLT oraz wdrażać governance (Unity Catalog, RBAC, Terraform). Projekty są przeważnie krótkoterminowe z dużym prawdopodobieństwem przedłużeń, a klient ma stałe zapotrzebowanie na specjalistów. Wymagana niewielka zakładka godzinowa (do ok. 18:00) ze względu na pracę z USA.
🔍 Dekoder Ogłoszenia
🔴
Projekty są przeważnie krótkoterminowe, z dużym prawdopodobieństwem przedłużeń
Możesz często zmieniać projekty, ale nie licz na stabilność zatrudnienia na długi czas.
🟡
dzięki stałości zapotrzebowania może proponować nowe tematy po zakończeniu projektu
Firma jest w stanie zapewnić ciągłość pracy, ale niekoniecznie na tym samym projekcie.
🔴
zwykle wymagają niewielkiej zakładki godzinowej (np. do godziny 18:00)
Praca może wymagać dostosowania się do strefy czasowej klienta, co może oznaczać pracę po godzinach.
🟡
Refaktoryzacja logiki SSIS i Boomi do rozwiązań Spark/Python
Będziesz pracować z przestarzałymi technologiami i musiał je migrować do nowszych rozwiązań.
🟡
Monitoring, tuning wydajności i automatyzacja pod SLA, w tym czterogodzinne okno odświeżania danych
Oczekuje się od Ciebie proaktywnego działania w celu zapewnienia ciągłości działania i wydajności systemu w określonych ramach czasowych.