Spark / Data Lakehouse Developer (k/m/x)

Poszukujemy osoby z doświadczeniem w obszarze Apache Spark i Data Lakehouse, która dołączy do zespołu rozwijającego nowoczesną platformę danych. Rola obejmuje projektowanie i rozwój procesów przetwarzania oraz jakości danych, budowę warstw Data Lakehouse, integrację z MongoDB, optymalizację wydajności oraz monitoring rozwiązań działających w środowisku produkcyjnym.
Zakres obowiązków
• Projektowanie i implementacja procesów przetwarzania oraz rekoncyliacji danych w Apache Spark
• Tworzenie rozwiązań w PySpark i Spark SQL oraz reguł jakości danych
• Integracja procesów Spark z MongoDB
• Budowa i rozwój warstw Data Lakehouse w oparciu o Apache Iceberg
• Optymalizacja wydajności procesów i zapytań Spark
• Rozwój mechanizmów CI/CD oraz automatyzacja wdrożeń
• Monitoring procesów przetwarzania danych i diagnozowanie problemów produkcyjnych
• Współpraca z zespołami technicznymi oraz udział w code review
Wymagania
• Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych
• Bardzo dobra znajomość PySpark, Spark SQL, DataFrames, Structured Streaming
• Doświadczenie z MongoDB i MongoDB Spark Connector
• Praktyczna znajomość Apache Iceberg, w tym tabel wersjonowanych oraz operacji upsert/merge
• Znajomość Python
• Doświadczenie z Jenkins
• Znajomość Prometheus i Grafana
• Doświadczenie w pracy w Scrum lub Kanban oraz z Jira/Confluence