Data Engineer (Spark)
UPVANTA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ
⚲ Wrocław, Fabryczna
Do uzgodnienia
Wymagania
- min. 5 lat praktycznego doświadczenia jako Data Engineer lub Big Data
- bardzo dobra znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming
- praktyczne doświadczenie z Apache Iceberg (zarządzanie tabelami, wersjonowanie, upsert/merge)
- doświadczenie w budowaniu i utrzymywaniu procesów CI/CD z wykorzystaniem Jenkins
- znajomość testowania aplikacji Spark (testy jednostkowe i integracyjne)
- doświadczenie w monitorowaniu procesów danych z wykorzystaniem Prometheus i Grafana
Mile widziane
- doświadczenie w pracy z Delta Lake lub Apache Hudi
- znajomość Kubernetes, Dockera i Spark Operator
Opis stanowiska
Zespół Data Platform w branży bankowej — budowa procesów rekoncyliacji danych w warstwie ODS opartej na MongoDB oraz synchronizacja z systemami źródłowymi, a także rozwój architektury Data Lakehouse (bronze/silver/gold) z Apache Spark i Apache Iceberg. Praca zdalna. Oferta dla inżyniera danych z mocnym Sparkiem, który lubi zarówno jakość danych, jak i optymalizację wydajności dużych wolumenów.
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.