Data Engineer (Spark)
UPVANTA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ
⚲ Wrocław, Fabryczna
Do uzgodnienia
Wymagania
- min. 5 lat praktycznego doświadczenia jako Data Engineer lub Big Data
- bardzo dobra znajomość PySpark, Spark SQL, DataFrames i Structured Streaming
- doświadczenie w odczycie i zapisie danych w MongoDB z użyciem MongoDB Spark Connector
- praktyczne doświadczenie z Apache Iceberg (zarządzanie tabelami, wersjonowanie, upsert/merge)
- bardzo dobra znajomość Pythona i SQL
- doświadczenie w budowaniu i utrzymaniu CI/CD z Jenkins
- znajomość testowania aplikacji Spark (testy jednostkowe i integracyjne)
Mile widziane
- doświadczenie z Delta Lake lub Apache Hudi
Opis stanowiska
Praca przy rekoncyliacji danych w warstwie ODS opartej na MongoDB oraz synchronizacji z systemami źródłowymi w bankowości. Będziesz też rozwijać architekturę Data Lakehouse (bronze/silver/gold) z Apache Spark i Apache Iceberg, dbać o jakość danych i observability. Oferta dla doświadczonego Data Engineera, który lubi optymalizację wydajności i pracę z dużymi wolumenami danych.
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.