Lead Data Engineer (Azure / Fabric)
IT SQUAD SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ
⚲ Warszawa
Wymagania
- Azure Data
- Azure Data Factory
- Fabric Data Pipelines
- Airflow
- dbt
- SQL
- Python
- Microsoft Fabric
Opis stanowiska
Nasze wymagania: Doświadczenie z platformą Azure Data (preferowany Microsoft Fabric; alternatywnie ADF / Synapse / Databricks) Praktyczna znajomość narzędzi: Orkiestracja: Azure Data Factory, Fabric Data Pipelines, Airflow Transformacja: dbt ELT / Ingestion: natywne rozwiązania Azure + Airbyte (opcjonalnie) Przetwarzanie danych: SQL, Python Doświadczenie w modelowaniu danych oraz pracy z warstwami transformacji Dobra znajomość: frameworków data quality monitoringu i observability pipeline’ów Doświadczenie w architekturach batch processing Umiejętność podejmowania decyzji technicznych oraz terminowego dostarczania rozwiązań Mile widziane: Doświadczenie z Microsoft Fabric (OneLake / Lakehouse) Doświadczenie w pracy z danymi z sektora Life Sciences / Healthcare Znajomość zagadnień Data Governance Zakres obowiązków: Projektowanie i wdrażanie end-to-end pipeline’ów danych (od zasilania, przez transformację, po udostępnianie) Zarządzanie warstwą orkiestracji (np. Azure Data Factory / Fabric Data Pipelines / Airflow) Projektowanie i implementacja architektury Medallion (Bronze / Silver / Gold) Zapewnianie niezawodności pipeline’ów, w tym monitoringu oraz mechanizmów alertowania Implementacja kontroli jakości danych oraz walidacji (data quality checks) Optymalizacja wydajności przetwarzania oraz kosztów operacyjnych Współpraca z Data Architectem w zakresie modelowania danych i decyzji architektonicznych Integracja danych z wielu źródeł (MS SQL, API, systemy zewnętrzne, np. Meta) Definiowanie i wdrażanie best practices (CI/CD, versioning, deployment workflows) Pełnienie roli lidera technicznego oraz mentoring zespołu inżynierskiego Oferujemy: Pracę przy projektach klienckich i produktach własnych. Realny wpływ na rozwiązania biznesowe i technologiczne w ramach realizowanych projektów Eventy firmowe, dostęp do usług medycznych oraz pakietów sportowych Zatrudnienie na umowę B2B Pracę w 100% zdalną lub hybrydową (Warszawa) Krótki proces rekrutacji składający się z HR interview oraz rozmowy technicznej z managerem zespołu