Spark / Data Lakehouse Developer (k/m/x)

Nasze wymagania:
Doświadczenie w projektowaniu i implementacji procesów przetwarzania danych w Apache Spark, Spark SQL oraz PySpark z wykorzystaniem DataFrames
Znajomość Apache Iceberg jako formatu tabel w architekturze Data Lakehouse
Doświadczenie w pracy z MongoDB, w tym integracji z Apache Spark
Umiejętność programowania w Pythonie w kontekście przetwarzania danych
Doświadczenie w konfiguracji i utrzymaniu procesów CI/CD z wykorzystaniem Jenkins
Znajomość narzędzi monitoringu Prometheus i Grafana w kontekście diagnozowania procesów danych
Doświadczenie w pracy w metodyce Scrum

Mile widziane:
Znajomość MongoDB Spark Connector
Doświadczenie w przetwarzaniu strumieniowym (Structured Streaming)
Znajomość Delta Lake
Znajomość Apache Hudi
Doświadczenie w pracy w metodyce Kanban
Znajomość Jira
Znajomość Confluence

O projekcie:
Projekt realizowany jest w ramach zespołu Data Platform, a bieżące prace koncentrują się na rekoncyliacji i procesach przetwarzania danych. Rozwiązania rozwijane są w architekturze Data Lakehouse z wykorzystaniem Apache Iceberg jako głównego formatu tabel. Obecnie przetwarzanie odbywa się przede wszystkim w trybie batchowym, a rozwiązania streamingowe planowane są w przyszłości.

Zakres obowiązków:
Projektowanie i implementacja procesów w Spark SQL / PySpark
Rekoncyliacja danych pomiędzy MongoDB a systemami źródłowymi
Budowanie reguł jakości danych oraz wykrywanie duplikatów, braków i anomalii
Integracja Apache Spark z MongoDB
Budowa i rozwój warstw Data Lakehouse
Optymalizacja wydajności procesów Spark
Rozwój CI/CD dla aplikacji i procesów danych oraz monitoring i diagnozowanie problemów produkcyjnych

Oferujemy:
Kontrakt B2B
Praca zdalna
Język pracy: polski + angielski
Prywatna opieka medyczna
Dofinansowanie zajęć sportowych
Wsparcie formalne od dokumentów po onboarding