Spark / Data Lakehouse Developer (m/k/n)
⚲ Wrocław
Do uzgodnienia
Wymagania
- min. 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych
- praktyczne doświadczenie z Apache Iceberg – warunek konieczny, w tym tabele wersjonowane oraz operacje upsert/merge
- doświadczenie z MongoDB
- doświadczenie w tworzeniu procesów rekoncyliacji i przetwarzania danych
- doświadczenie z Jenkins
- znajomość Prometheus i Grafana
- doświadczenie w Scrum lub Kanban oraz z Jira/Confluence
Opis stanowiska
Pracujesz w zespole Data Platform nad rekoncyliacją i procesami przetwarzania danych w architekturze Data Lakehouse, gdzie Apache Iceberg jest głównym formatem tabel. Będziesz projektować procesy w Spark SQL/PySpark, budować reguły jakości danych, integrować Spark z MongoDB i optymalizować wydajność. To oferta dla inżyniera z produkcyjnym doświadczeniem w Sparku, dla którego Iceberg (tabele wersjonowane, upsert/merge) jest warunkiem koniecznym.
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.