Data Engineer
⚲ Gdańsk, Katowice, Kraków, Lublin, Łódź, Poznań, Szczecin, Toruń, Warszawa, Wrocław
Do uzgodnienia
Wymagania
- min. 3 lata doświadczenia w pracy z danymi na dużą skalę, w tym z Airflow i Spark
- solidne podstawy software engineeringu oraz praktyczne doświadczenie w Pythonie
- zaawansowany SQL (złożone joiny, CTE, funkcje okna, optymalizacja wydajności)
- doświadczenie w modelowaniu danych w Snowflake
- doświadczenie w rozwijaniu i testowaniu pipeline'ów w Apache Airflow i Pythonie
- doświadczenie z Apache Kafka oraz Apache Spark (w tym PySpark)
- doświadczenie z formatami danych Iceberg i Parquet oraz AWS (szczególnie S3)
- dostępność do godz. 12:00 czasu PT
Opis stanowiska
Svitla Systems szuka Data Engineera do projektu modernizacji dużej platformy danych jednego z największych serwisów pracy na świecie. Architektura i podejście są już zdefiniowane przez klienta, więc rola skupia się na egzekucji: migracji ok. 1000 datasetów do Snowflake, migracji pipeline'ów z Airflow 2 do Airflow 3, przeniesieniu połączeń Confluent do nowego regionu oraz migracji z Hive do Iceberg. To oferta dla samodzielnego inżyniera danych z solidnymi podstawami software engineeringu, który lubi pracować w trybie wykonawczym i ma dostępność do godz. 12:00 czasu PT.
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.