Data Engineer (Spark)
⚲ Wrocław, Katowice, Warszawa, Poznań, Łódź
25 200 - 25 200 PLN netto (B2B)
Wymagania
- min. 5 lat praktycznego doświadczenia jako Data Engineer lub w Big Data
- bardzo dobra znajomość PySpark, Spark SQL, DataFrames i Structured Streaming
- doświadczenie w odczycie i zapisie danych w MongoDB z użyciem MongoDB Spark Connector
- praktyczne doświadczenie z Apache Iceberg (zarządzanie tabelami, wersjonowanie, upsert/merge)
- doświadczenie w budowie i utrzymaniu CI/CD z użyciem Jenkins
- doświadczenie w testowaniu aplikacji Spark (testy jednostkowe i integracyjne)
- doświadczenie w monitorowaniu procesów danych z użyciem Prometheus i Grafana
Mile widziane
- doświadczenie z Delta Lake lub Apache Hudi
Opis stanowiska
Będziesz odpowiadać za projektowanie, rozwój i optymalizację procesów rekoncyliacji danych w warstwie ODS opartej na MongoDB oraz ich synchronizację z systemami źródłowymi w banku, a także rozwijać architekturę Data Lakehouse (bronze/silver/gold) w Sparku i Apache Iceberg. Realnie zajmiesz się regułami jakości danych, wykrywaniem anomalii, CI/CD schematów oraz observability (Prometheus, Grafana). Praca zdalna w zespole Data Platform. To oferta dla doświadczonego inżyniera Spark, który lubi pracę z danymi w dużej skali i dba o jakość.
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.