Spark / Data Lakehouse Developer

Nasze wymagania:
4+ lat doświadczenia w budowaniu i wdrażaniu rozwiązań Big Data na środowiskach produkcyjnych
Biegła znajomość PySpark, Spark-SQL, DataFrames oraz Structured Streaming
Doświadczenie w integracji Sparka z MongoDB (MongoDB Spark Connector), praktyczna znajomość modelowania dokumentowego i strategii indeksowania
Praktyczne doświadczenie w zarządzaniu tabelami wersjonowanymi przy użyciu Apache Iceberg (optymalizacja zapisów, operacje MERGE/UPSERT)
Znajomość narzędzia Jenkins do automatyzacji budowania, testowania (Spark-unit, testy integracyjne) i wdrażania aplikacji Spark
Znajomość stosu Prometheus + Grafana pod kątem śledzenia pracy procesów przetwarzania danych
Praca w zwinnych metodologiach (Scrum / Kanban) z wykorzystaniem narzędzi Jira / Confluence

O projekcie:
Dołącz do zespołu Data Platform, gdzie będziesz odpowiadać za kluczowe rozwiązania w zakresie weryfikacji i spójności danych pomiędzy warstwą ODS (MongoDB) a systemami źródłowymi. W Twoich rękach będzie również rozwój i utrzymanie pełnej architektury Data Lakehouse — od surowych danych po zaawansowane warstwy analityczne.
Model pracy: spotkania we Wrocławiu 1 raz w miesiącu

Zakres obowiązków:
Tworzenie potoków PySpark/Spark-SQL porównujących dane ODS (MongoDB) ze źródłami oraz wdrożenie automatycznych testów jakości, wykrywania anomalii i alertów
Integracja Spark + MongoDB, otymalizacja wymiany danych (read/write, schema inference, partitioning, push-down zapytań $match)
Budowa i wersjonowanie wielowarstwowej struktury danych (Raw → Bronze → Silver → Gold) z wykorzystaniem Apache Iceberg / Delta Lake / Hudi.
Strojenie jobów Spark (AQE, broadcast joins, caching) w celu przyspieszenia przetwarzania i redukcji kosztów
Automatyzacja wdrożeń (Docker, Kubernetes, Spark Operator, Jenkins CI/CD) oraz konfiguracja monitoringu procesów (Prometheus, Grafana, OpenTelemetry, Dynatrace)
Udział w pracach zespołu (Scrum/Kanban), code-review, prowadzenie warsztatów oraz tworzenie dokumentacji technicznej i run-booków

Oferujemy:
Długofalowa współpraca oparta o nasze wartości: edukacja, partnerstwo i odpowiedzialność,
Praca w projektach dedykowanych dla największych marek na świecie z sektora finansowego i telekomunikacyjnego,
Możliwość wymiany doświadczeń w międzynarodowych środowisku i rozwoju w projektach realizowanych w Polsce, lub innych krajach: Słowacja, Czechy, Bułgaria,
Praca w nowoczesnym środowisku z innowacyjnymi technologiami,
Elastyczne godziny pracy,
Prywatna opiekę medyczną,
Karta Multisport lub My Cafeteria,
Ubezpieczenie na życie,
NATEK loyalty Club,
Możliwość dołączenia do społeczności odpowiedzialnej społecznie i uczestniczenia w inicjatywach firmowych.