Spark / Data Lakehouse Developer
HIBERUS POLAND SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ
⚲ Wrocław, Stare Miasto
20 160–26 880 zł netto (+ VAT) / mies.
Wymagania
- min. 4 lata doświadczenia w pracy z Apache Spark w środowisku produkcyjnym
- bardzo dobra znajomość PySpark, Spark SQL, DataFrames i Structured Streaming
- doświadczenie z MongoDB i Spark Connector oraz znajomość modelowania i indeksowania danych
- praktyczna znajomość Apache Iceberg i architektury Data Lakehouse (upsert/merge, optymalizacja zapisów)
- doświadczenie w CI/CD z Jenkins, w tym automatyzacja testów i deploymentów aplikacji Spark
- znajomość Prometheus i Grafana w obszarze monitoringu i observability
- doświadczenie w pracy w Scrum/Kanban oraz znajomość Jira i Confluence
Opis stanowiska
Projekt dla klienta z sektora finansowego — dołączasz do zespołu Data Platform i odpowiadasz za projektowanie oraz rozwój rozwiązań do rekoncyliacji i synchronizacji danych w warstwie ODS opartej na MongoDB, a także za budowę i utrzymanie warstw Data Lakehouse (Raw → Bronze → Silver → Gold). W praktyce: procesy Spark SQL/PySpark do walidacji i porównywania danych, reguły jakości danych, integracja Spark–MongoDB, monitoring i observability oraz automatyzacja deploymentów na Kubernetes. Oferta dla doświadczonego inżyniera, który lubi pracować blisko danych, wydajności i niezawodności procesów.
🔍 Dekoder Ogłoszenia
🟡
Dla naszego Klienta z sektora finansowego
Standardowe sformułowanie w ogłoszeniach, ale może ukrywać szczegóły projektu.