Senior Data Engineer (Spark)
UPVANTA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ
⚲ Wrocław, Fabryczna
Do uzgodnienia
Wymagania
- min. 6 lat komercyjnego doświadczenia z Apache Spark w środowiskach produkcyjnych
- bardzo dobra znajomość PySpark, Spark SQL, DataFrames i Structured Streaming
- praktyczne doświadczenie w integracji Spark z MongoDB (MongoDB Spark Connector)
- doświadczenie z Apache Iceberg (zarządzanie tabelami, wersjonowanie, upsert/merge)
- praktyczna znajomość Pythona
- doświadczenie w budowaniu i utrzymaniu CI/CD z Jenkinsem
- znajomość Prometheus i Grafana
Mile widziane
- doświadczenie bankowe
Opis stanowiska
Zespół Data Platform — budowa mechanizmów rekoncyliacji danych w warstwie ODS opartej na MongoDB oraz rozwój architektury Data Lakehouse (Raw, Bronze, Silver, Gold) z Apache Iceberg. Będziesz pisać procesy w PySpark/Spark SQL, integrować Spark z MongoDB, optymalizować wydajność i wdrażać CI/CD oraz monitoring. Oferta dla seniora z min. 6-letnim doświadczeniem produkcyjnym w Spark, mile widziane doświadczenie bankowe.
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.