Data Engineer Mid
⚲ Warszawa
Do uzgodnienia
Wymagania
- Data
- SQL
- Docker
Opis stanowiska
Projekt greenfield w sektorze medycznym — budujesz pipeline'y ETL/ELT zasilające hurtownię danych od zera.
O projekcie
Dołączysz do zespołu Devapo realizującego projekt typu greenfield: zaprojektowanie i wdrożenie od podstaw kompleksowej Platformy Business Intelligence dla organizacji z sektora medycznego. Będziesz mieć realny wpływ na kształt rozwiązania — od architektury przepływów danych po finalne dashboardy.
• hurtownia danych PostgreSQL 16 w architekturze Medallion (Raw / Silver / Gold) z podziałem domenowym w duchu Data Mesh (domeny: kliniczna, finansowa, HR, marketingowa, operacyjna),
• orkiestracja procesów w Apache Airflow, transformacje w dbt, kontrola jakości danych w Great Expectations,
• integracja kilkunastu systemów źródłowych (HIS, call center, CRM, HR, obieg dokumentów, platformy reklamowe Google / Facebook / LinkedIn) przez REST API, SOAP, pliki i konektory bazodanowe,
• warstwa raportowa w Microsoft Power BI Service z On-premises Data Gateway, RLS/OLS i SSO przez Microsoft Entra ID,
• całość on-premises w kontenerach Docker, wersjonowanie w Git, monitoring Prometheus + Grafana,
• wysokie standardy bezpieczeństwa: dane medyczne, pełna zgodność z RODO i NIS-2.
Zakres zadań
• budowa procesów ETL/ELT zasilających hurtownię danych (full load i incremental load, watermarki, CDC),
• implementacja konektorów do systemów źródłowych: REST API (OAuth 2.0 / JWT), SOAP, pliki (CSV/XLSX/XML/JSON, SFTP), połączenia bazodanowe,
• tworzenie i utrzymanie DAG-ów w Apache Airflow (harmonogramy, sensory, retry, alarmowanie),
• budowa modeli transformacji w dbt (warstwy Raw → Silver → Gold) wraz z testami,
• implementacja reguł jakości danych w Great Expectations (kompletność, integralność, reguły biznesowe, detekcja zmian schematów),
• praca w środowisku on-premises: Docker, Git, CI/CD, monitoring Prometheus + Grafana.
Wymagania
• minimum 3 lata doświadczenia na stanowisku Data Engineer lub pokrewnym,
• praktyczna znajomość:• SQL,
• Python,
• Apache Airflow,
• dbt,
• PostgreSQL,
• modelowania danych,
• projektowania i budowy procesów ETL/ELT,
• integracji z wykorzystaniem REST API,
• Git,
• CI/CD,
• Docker.
Dodatkowym atutem będzie znajomość
• Apache Hop lub innego narzędzia wizualnego projektowania pipeline'ów ETL (np. Pentaho DI, Talend, NiFi),
• Great Expectations lub innego frameworka kontroli jakości danych,
• Kong API Gateway,
• mechanizmów uwierzytelniania OAuth 2.0 / JWT w integracjach API,
• architektury Medallion i koncepcji Data Mesh,
• Prometheus / Grafana.
Mile widziane
• doświadczenie z Power BI,
• doświadczenie z danymi wrażliwymi lub w sektorze ochrony zdrowia (RODO).
Oferujemy
Obowiązki
Wymagania
O projekcie
Dołączysz do zespołu Devapo realizującego projekt typu greenfield: zaprojektowanie i wdrożenie od podstaw kompleksowej Platformy Business Intelligence dla organizacji z sektora medycznego. Będziesz mieć realny wpływ na kształt rozwiązania — od architektury przepływów danych po finalne dashboardy.
• hurtownia danych PostgreSQL 16 w architekturze Medallion (Raw / Silver / Gold) z podziałem domenowym w duchu Data Mesh (domeny: kliniczna, finansowa, HR, marketingowa, operacyjna),
• orkiestracja procesów w Apache Airflow, transformacje w dbt, kontrola jakości danych w Great Expectations,
• integracja kilkunastu systemów źródłowych (HIS, call center, CRM, HR, obieg dokumentów, platformy reklamowe Google / Facebook / LinkedIn) przez REST API, SOAP, pliki i konektory bazodanowe,
• warstwa raportowa w Microsoft Power BI Service z On-premises Data Gateway, RLS/OLS i SSO przez Microsoft Entra ID,
• całość on-premises w kontenerach Docker, wersjonowanie w Git, monitoring Prometheus + Grafana,
• wysokie standardy bezpieczeństwa: dane medyczne, pełna zgodność z RODO i NIS-2.
Zakres zadań
• budowa procesów ETL/ELT zasilających hurtownię danych (full load i incremental load, watermarki, CDC),
• implementacja konektorów do systemów źródłowych: REST API (OAuth 2.0 / JWT), SOAP, pliki (CSV/XLSX/XML/JSON, SFTP), połączenia bazodanowe,
• tworzenie i utrzymanie DAG-ów w Apache Airflow (harmonogramy, sensory, retry, alarmowanie),
• budowa modeli transformacji w dbt (warstwy Raw → Silver → Gold) wraz z testami,
• implementacja reguł jakości danych w Great Expectations (kompletność, integralność, reguły biznesowe, detekcja zmian schematów),
• praca w środowisku on-premises: Docker, Git, CI/CD, monitoring Prometheus + Grafana.
Wymagania
• minimum 3 lata doświadczenia na stanowisku Data Engineer lub pokrewnym,
• praktyczna znajomość:• SQL,
• Python,
• Apache Airflow,
• dbt,
• PostgreSQL,
• modelowania danych,
• projektowania i budowy procesów ETL/ELT,
• integracji z wykorzystaniem REST API,
• Git,
• CI/CD,
• Docker.
Dodatkowym atutem będzie znajomość
• Apache Hop lub innego narzędzia wizualnego projektowania pipeline'ów ETL (np. Pentaho DI, Talend, NiFi),
• Great Expectations lub innego frameworka kontroli jakości danych,
• Kong API Gateway,
• mechanizmów uwierzytelniania OAuth 2.0 / JWT w integracjach API,
• architektury Medallion i koncepcji Data Mesh,
• Prometheus / Grafana.
Mile widziane
• doświadczenie z Power BI,
• doświadczenie z danymi wrażliwymi lub w sektorze ochrony zdrowia (RODO).
Oferujemy
Obowiązki
Wymagania
🔍 Dekoder Ogłoszenia
🔴
Projekt greenfield w sektorze medycznym — budujesz pipeline'y ETL/ELT zasilające hurtownię danych od zera.
Oznacza to, że będziesz tworzyć wszystko od podstaw, co może być ekscytujące, ale też wymagać dużej samodzielności i potencjalnie braku istniejących narzędzi czy procesów.
🔴
Będziesz mieć realny wpływ na kształt rozwiązania — od architektury przepływów danych po finalne dashboardy.
Choć brzmi to jak duża swoboda, może oznaczać również, że będziesz musiał podejmować wiele decyzji architektonicznych bez wsparcia doświadczonych kolegów lub istniejących wytycznych.
🟡
całość on-premises w kontenerach Docker
Oznacza to, że będziesz pracować w środowisku, które nie jest w chmurze, co może wiązać się z dodatkowymi wyzwaniami związanymi z zarządzaniem infrastrukturą i skalowaniem.
🔴
integracja kilkunastu systemów źródłowych (HIS, call center, CRM, HR, obieg dokumentów, platformy reklamowe Google / Facebook / LinkedIn) przez REST API, SOAP, pliki i konektory bazodanowe
Zakres integracji jest bardzo szeroki i obejmuje różnorodne technologie, co może oznaczać dużą ilość pracy i konieczność szybkiego uczenia się nowych systemów.
🟡
wysokie standardy bezpieczeństwa: dane medyczne, pełna zgodność z RODO i NIS-2.
Praca z danymi medycznymi i wymogami prawnymi oznacza, że będziesz musiał bardzo uważać na szczegóły i przestrzegać restrykcyjnych procedur.