Data Engineer (Spark)
⚲ Remote
25 200 - 25 200 PLN (B2B)
Wymagania
- min. 5 lat praktycznego doświadczenia jako Data Engineer lub Big Data
- doświadczenie w odczycie i zapisie danych w MongoDB z użyciem MongoDB Spark Connector
- praktyczne doświadczenie z Apache Iceberg (zarządzanie tabelami, wersjonowanie, upsert/merge)
- doświadczenie w budowaniu i utrzymaniu CI/CD z Jenkins
- znajomość testowania aplikacji Spark (testy jednostkowe i integracyjne)
- doświadczenie w monitorowaniu procesów danych z Prometheus i Grafana
Mile widziane
- doświadczenie z Delta Lake lub Apache Hudi
- znajomość Kubernetes, Dockera i Spark Operator
Opis stanowiska
Dołączysz do zespołu Data Platform w banku, gdzie zajmiesz się rekoncyliacją danych w warstwie ODS opartej na MongoDB oraz synchronizacją z systemami źródłowymi. Będziesz też rozwijać architekturę Data Lakehouse (bronze/silver/gold) z Apache Spark i Apache Iceberg. Praca jest w pełni zdalna. Oferta dla doświadczonego inżyniera danych, który lubi pracę z dużymi wolumenami, optymalizację wydajności Spark i budowanie procesów CI/CD oraz observability.
🔍 Dekoder Ogłoszenia
🟡
Minimum 5 lata praktycznego doświadczenia
Błąd językowy w ogłoszeniu — może świadczyć o pośpiechu lub niskiej dbałości o szczegóły.