Data Engineer
⚲ Warszawa
120 - 140 zł net (+ VAT)
Wymagania
- strong hands-on experience z Azure Databricks: Spark, Delta Lake
- budowa i utrzymanie wielowarstwowych pipeline'ów (Landing → Raw → Enriched → Curated)
- schema enforcement i obsługa schema drift
- orkiestracja przez Databricks Jobs/Workflows: zależności, retry, alerty
- strong hands-on experience z dbt
- monitorowanie awarii, świeżości danych i zdrowia pipeline'ów w ramach SLA
- kontrola dostępu, audyt, lineage i traceability do wymagań
Mile widziane
- CI/CD i MLOps dla danych na Databricks; doświadczenie w domenach regulowanych (GxP, farmacja)
Opis stanowiska
Rola Data Engineera przy budowie i utrzymaniu wielowarstwowych pipeline'ów danych na Azure Databricks (Spark, Delta Lake) z użyciem dbt, w środowisku kontrolowanym Dev/Test/Prod. Będziesz odpowiadać za jakość danych, orkiestrację, monitorowanie i dostarczanie danych w ramach SLA. Uwaga: praca pod rygorystycznymi terminami SLA oraz wymóg śledzenia zgodności z wymaganiami i regulacjami (potencjalnie GxP, farmacja) — warto to uwzględnić. Dobra oferta dla doświadczonego inżyniera danych lubiącego porządek i governance.
🔍 Dekoder Ogłoszenia
🔴
Build and maintain multi-layer pipelines: Landing → Raw → Enriched → Curated
Oczekuje się od kandydata budowania i utrzymywania złożonej infrastruktury danych, co może oznaczać dużą odpowiedzialność i potencjalnie skomplikowane procesy.
🔴
SLA-based data delivery
Praca pod presją czasu i konieczność dotrzymywania rygorystycznych terminów dostarczania danych, co może wiązać się z dodatkowym stresem.
🔴
Traceability to requirements
Konieczność dokładnego dokumentowania i powiązania każdej części pracy z pierwotnymi wymaganiami biznesowymi, co może być czasochłonne i wymagać precyzji.
🔴
CI/CD & DevOps for Data
Choć brzmi nowocześnie, może oznaczać konieczność samodzielnego wdrażania i utrzymywania narzędzi CI/CD dla danych, co wymaga szerokich kompetencji.
🔴
Exposure to regulatory domains (GxP, clinical trials, pharmacovigilance)
Wymóg znajomości lub gotowość do szybkiego nauczenia się bardzo specyficznych i rygorystycznych regulacji branżowych, co może być wyzwaniem.