NoFluffJobs Praca zdalna Mid

Data Engineer (Spark )

Upvanta

⚲ Remote

25 200 - 27 300 PLN (B2B)

Wymagania

  • min. 6 lat doświadczenia komercyjnego z Apache Spark w środowiskach produkcyjnych
  • praktyczne doświadczenie w integracji Apache Spark z MongoDB przez MongoDB Spark Connector
  • doświadczenie z Apache Iceberg (zarządzanie tabelami, wersjonowanie, upsert/merge)
  • praktyczna znajomość Pythona
  • doświadczenie w budowie i utrzymaniu CI/CD z Jenkinsem
  • znajomość Prometheus i Grafana
  • doświadczenie w metodykach Agile (Scrum/Kanban) oraz znajomość Jira i Confluence

Mile widziane

  • doświadczenie z Delta Lake lub Apache Hudi, Dockerem, Kubernetes i Spark Operator

Opis stanowiska

Projekt w zespole Data Platform polegający na budowie mechanizmów rekoncyliacji danych w warstwie ODS opartej na MongoDB oraz synchronizacji z systemami źródłowymi, a także na rozwoju architektury Data Lakehouse (Raw, Bronze, Silver, Gold). Będziesz pisać procesy w PySpark/Spark SQL, integrować Sparka z MongoDB, wdrażać tabele Apache Iceberg i tuningować wydajność. Oferta dla doświadczonego inżyniera Big Data, który lubi pracę z jakością danych i produkcyjnymi pipeline'ami; doświadczenie bankowe jest atutem.

🔍 Dekoder Ogłoszenia

✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.