Senior Data Engineer (f/m/x)
⚲ Łódź, Białystok, Bydgoszcz, Kraków, Gdańsk, Katowice, Lublin, Piła, Poznań, Rzeszów
Do uzgodnienia
Wymagania
- Databricks
- Apache Spark
- Data Built Tool
- Snowflake
- Python
- Delta Lake
- Apache Iceberg
- HDFS (Hadoop Distributed File System)
- Great Expectations
- Deequ
Opis stanowiska
Szukamy doświadczonego Data Engineer, który dołączy do zespołu zajmującego się inżynierią danych w dynamicznie rozwijającym się środowisku, w którym dane są głównym produktem. Będziesz pracować w wysoko wykwalifikowanym zespole odpowiedzialnym za rozwój i utrzymanie potoków danych na platformie Azure przy użyciu Databricks, wspierając wszystkie kluczowe funkcje biznesowe. Twoim głównym celem będzie budowanie i utrzymywanie solidnych, bezpiecznych potoków danych oraz pomoc w definiowaniu modelu danych, który dostarcza zaufane zbiory danych naszym klientom. Będziesz współpracować z zespołem inżynierów, analityków danych i właścicieli produktów, aby dostarczać kompleksowe rozwiązania – od pozyskiwania danych po dostarczenie do końcowego klienta.
Twoje zadania
• Projektowanie i rozwój zaawansowanych pipeline'ów danych w środowisku Azure Databricks
• Tworzenie skalowalnej architektury danych z wykorzystaniem technologii lakehouse
• Definiowanie standardów i dobrych praktyk w obszarze Data Engineering
• Współpraca z zespołami Data Analytics, Data Science oraz Product w celu dostarczania kompleksowych rozwiązań
• Mentoring mniej doświadczonych inżynierów i wsparcie techniczne zespołu
• Optymalizacja wydajności, niezawodności, bezpieczeństwa oraz kosztów funkcjonowania platformy danych
Wymagania
• Minimum 8-letnie doświadczenie w inżynierii danych
• Bardzo dobra znajomość Apache Spark, Databricks, Snowflake, dbt oraz Python
• Wcześniejsza praca w projektowaniu rozwiązań opartych na Delta Lake, Apache Iceberg, HDFS lub pokrewne technologie przechowywania danych
• Umiejętność samodzielnego prowadzenia złożonych projektów data engineering oraz współpracy z interesariuszami biznesowymi
• Doświadczenie w technicznym liderowaniu i mentoringu członków zespołu
• Bardzo dobra znajomość języka angielskiego - poziom C1
• Gotowość do wizyt w biurze w Krakowie - 1 raz w miesiącu
Mile widziane
• Doświadczenie w pracy z danymi finansowymi lub produktami ETF, a także znajomość zagadnień Data Modeling, Great Expectations lub Deequ
Twoje zadania
• Projektowanie i rozwój zaawansowanych pipeline'ów danych w środowisku Azure Databricks
• Tworzenie skalowalnej architektury danych z wykorzystaniem technologii lakehouse
• Definiowanie standardów i dobrych praktyk w obszarze Data Engineering
• Współpraca z zespołami Data Analytics, Data Science oraz Product w celu dostarczania kompleksowych rozwiązań
• Mentoring mniej doświadczonych inżynierów i wsparcie techniczne zespołu
• Optymalizacja wydajności, niezawodności, bezpieczeństwa oraz kosztów funkcjonowania platformy danych
Wymagania
• Minimum 8-letnie doświadczenie w inżynierii danych
• Bardzo dobra znajomość Apache Spark, Databricks, Snowflake, dbt oraz Python
• Wcześniejsza praca w projektowaniu rozwiązań opartych na Delta Lake, Apache Iceberg, HDFS lub pokrewne technologie przechowywania danych
• Umiejętność samodzielnego prowadzenia złożonych projektów data engineering oraz współpracy z interesariuszami biznesowymi
• Doświadczenie w technicznym liderowaniu i mentoringu członków zespołu
• Bardzo dobra znajomość języka angielskiego - poziom C1
• Gotowość do wizyt w biurze w Krakowie - 1 raz w miesiącu
Mile widziane
• Doświadczenie w pracy z danymi finansowymi lub produktami ETF, a także znajomość zagadnień Data Modeling, Great Expectations lub Deequ
🔍 Dekoder Ogłoszenia
🔴
dynamicznie rozwijającym się środowisku
Częsty eufemizm na szybko zmieniające się priorytety lub wysoki poziom stresu.
🟢
dane są głównym produktem
Konkretna i wartościowa informacja o charakterze pracy.
🟡
wysoko wykwalifikowanym zespole
Ogólne określenie bez szczegółów — standardowy element ogłoszeń.
🔴
kompleksowe rozwiązania
Fraza marketingowa bez konkretnej treści.