Pracuj.pl Praca zdalna Senior

Spark / Data Lakehouse Developer

NATEK POLAND

⚲ Wrocław

Do uzgodnienia

Wymagania

  • min. 4 lata doświadczenia w Data Engineering, Apache Spark lub Data Lakehouse
  • praktyczne doświadczenie z Apache Iceberg w środowiskach produkcyjnych (tabele wersjonowane, upsert/merge)
  • doświadczenie w integracji i przetwarzaniu danych z MongoDB oraz MongoDB Spark Connector
  • doświadczenie w optymalizacji wydajności i kosztów przetwarzania danych w Big Data
  • doświadczenie w pracy w Scrum lub Kanban
  • bardzo dobra znajomość języka polskiego

Mile widziane

  • doświadczenie z Delta Lake lub Apache Hudi
  • doświadczenie w prowadzeniu warsztatów technicznych i mentoringu zespołów developerskich

Opis stanowiska

NATEK szuka developera do zespołu Data Platform, który rozwija rozwiązania do rekoncyliacji danych w warstwie ODS opartej o MongoDB oraz buduje architekturę Data Lakehouse. W praktyce będziesz pisać procesy PySpark/Spark SQL porównujące dane między MongoDB a systemami źródłowymi, rozwijać reguły Data Quality i warstwy raw/bronze/silver/gold na Apache Iceberg. Uwaga warta podkreślenia: rekoncyliacja danych i wykrywanie duplikatów/anomalii to zwykle najbardziej czasochłonna i żmudna część takiego projektu — duża część pracy upłynie na analizie problemów z jakością danych, więc warto to lubić. Oferta dla doświadczonego inżyniera danych (min. 4 lata), który czuje się swobodnie w produkcyjnym Sparku i Icebergu, a nie dla osoby uczącej się tych technologii.

🔍 Dekoder Ogłoszenia

🔴
Projektowanie i implementacja procesów PySpark oraz Spark SQL służących do porównywania i rekoncyliacji danych pomiędzy MongoDB (ODS) a systemami źródłowymi.
Może oznaczać pracę z bardzo dużą ilością danych, gdzie rekoncyliacja jest skomplikowana i czasochłonna, a MongoDB może być używane jako źródło lub cel danych.
🔴
Tworzenie i rozwój reguł Data Quality, wykrywanie duplikatów,...
Wskazuje na potencjalnie dużą ilość problemów z jakością danych, które trzeba będzie rozwiązywać, co może być frustrujące i wymagać dogłębnej analizy.