Spark / Data Lakehouse Developer
⚲ Wrocław
Do uzgodnienia
Wymagania
- min. 4 lata doświadczenia w Data Engineering, Apache Spark lub Data Lakehouse
- praktyczne doświadczenie z Apache Iceberg w środowiskach produkcyjnych (tabele wersjonowane, upsert/merge)
- doświadczenie w integracji i przetwarzaniu danych z MongoDB oraz MongoDB Spark Connector
- doświadczenie w optymalizacji wydajności i kosztów przetwarzania danych w Big Data
- doświadczenie w pracy w Scrum lub Kanban
- bardzo dobra znajomość języka polskiego
Mile widziane
- doświadczenie z Delta Lake lub Apache Hudi
- doświadczenie w prowadzeniu warsztatów technicznych i mentoringu zespołów developerskich
Opis stanowiska
NATEK szuka developera do zespołu Data Platform, który rozwija rozwiązania do rekoncyliacji danych w warstwie ODS opartej o MongoDB oraz buduje architekturę Data Lakehouse. W praktyce będziesz pisać procesy PySpark/Spark SQL porównujące dane między MongoDB a systemami źródłowymi, rozwijać reguły Data Quality i warstwy raw/bronze/silver/gold na Apache Iceberg. Uwaga warta podkreślenia: rekoncyliacja danych i wykrywanie duplikatów/anomalii to zwykle najbardziej czasochłonna i żmudna część takiego projektu — duża część pracy upłynie na analizie problemów z jakością danych, więc warto to lubić. Oferta dla doświadczonego inżyniera danych (min. 4 lata), który czuje się swobodnie w produkcyjnym Sparku i Icebergu, a nie dla osoby uczącej się tych technologii.
🔍 Dekoder Ogłoszenia
🔴
Projektowanie i implementacja procesów PySpark oraz Spark SQL służących do porównywania i rekoncyliacji danych pomiędzy MongoDB (ODS) a systemami źródłowymi.
Może oznaczać pracę z bardzo dużą ilością danych, gdzie rekoncyliacja jest skomplikowana i czasochłonna, a MongoDB może być używane jako źródło lub cel danych.
🔴
Tworzenie i rozwój reguł Data Quality, wykrywanie duplikatów,...
Wskazuje na potencjalnie dużą ilość problemów z jakością danych, które trzeba będzie rozwiązywać, co może być frustrujące i wymagać dogłębnej analizy.