Spark / Data Lakehouse Developer
⚲ Wrocław
2 415 - 2 835 PLN (B2B)
Wymagania
- doświadczenie jako Data Engineer / Spark Developer w big data lub chmurze
- bardzo dobra znajomość Apache Spark, szczególnie w przetwarzaniu danych i budowie pipeline'ów ETL
- praktyczne doświadczenie z MongoDB i architekturami typu ODS
- praktyczne doświadczenie z technologiami Data Lakehouse (Delta Lake, Apache Iceberg lub Hudi)
- biegłość w Pythonie i/lub Scali (manipulacja danymi, skrypty pipeline'ów)
- doświadczenie z rozproszonymi środowiskami danych i chmurami (Azure, AWS lub GCP)
Mile widziane
- doświadczenie ze streamingiem (Kafka, Structured Streaming)
- znajomość frameworków jakości danych i testów (Great Expectations, dbt tests)
Opis stanowiska
Budowa rozwiązań rekonsyliacji danych w warstwie ODS opartej na MongoDB oraz warstw danych w architekturze Data Lakehouse (Delta Lake / Iceberg / Hudi) — od strefy raw po silver i gold. Będziesz projektować mechanizmy synchronizacji między systemami źródłowymi a ODS oraz rozwijać pipeline'y w Sparku. Uwaga: w ogłoszeniu pojawia się 'flexible cooperation model' i 'hybrid work setup' bez konkretów — warto dopytać o szczegóły umowy i realny podział dni zdalnych/biurowych (Warszawa lub Wrocław).
🔍 Dekoder Ogłoszenia
🔴
Flexible cooperation model
Może oznaczać B2B bez benefitów, brak określonych godzin pracy lub niejasne warunki zatrudnienia — warto dopytać o szczegóły umowy.
🔴
Hybrid work setup – remote days
Brak konkretów co do liczby dni zdalnych i biurowych — 'hybryda' bywa elastyczna tylko na papierze.
🟡
modern Data Lakehouse architecture
Konkretna technologia (Delta Lake / Iceberg / Hudi) — opis jest transparentny, nie jest to pusty slogan.