Spark / Data Lakehouse Developer (k/m/x)

Nasze wymagania:
Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych
Bardzo dobra znajomość PySpark, Spark SQL, DataFrames, Structured Streaming
Doświadczenie z MongoDB i MongoDB Spark Connector
Praktyczna znajomość Apache Iceberg, w tym tabel wersjonowanych oraz operacji upsert/merge
Znajomość Python
Doświadczenie z Jenkins
Znajomość Prometheus i Grafana
Doświadczenie w pracy w Scrum lub Kanban oraz z Jira/Confluence

O projekcie:
rozwijającego nowoczesną platformę danych

Zakres obowiązków:
Projektowanie i implementacja procesów przetwarzania oraz rekoncyliacji danych w Apache Spark
Tworzenie rozwiązań w PySpark i Spark SQL oraz reguł jakości danych
Integracja procesów Spark z MongoDB
Budowa i rozwój warstw Data Lakehouse w oparciu o Apache Iceberg
Optymalizacja wydajności procesów i zapytań Spark
Rozwój mechanizmów CI/CD oraz automatyzacja wdrożeń
Monitoring procesów przetwarzania danych i diagnozowanie problemów produkcyjnych
Współpraca z zespołami technicznymi oraz udział w code review