Lead Data Engineer (Azure / Fabric)
IT SQUAD SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ
⚲ Warszawa
Wymagania
- Azure Data
- Azure Data Factory
- Fabric Data Pipelines
- Airflow
- dbt
- SQL
- Python
- Microsoft Fabric (nice to have)
Opis stanowiska
Wymagania: - Doświadczenie z platformą Azure Data (preferowany Microsoft Fabric; alternatywnie ADF / Synapse / Databricks) - Praktyczna znajomość narzędzi: - Orkiestracja: Azure Data Factory, Fabric Data Pipelines, Airflow - Transformacja: dbt - ELT / Ingestion: natywne rozwiązania Azure + Airbyte (opcjonalnie) - Przetwarzanie danych: SQL, Python - Doświadczenie w modelowaniu danych oraz pracy z warstwami transformacji - Dobra znajomość: - frameworków data quality - monitoringu i observability pipeline’ów - Doświadczenie w architekturach batch processing - Umiejętność podejmowania decyzji technicznych oraz terminowego dostarczania rozwiązań Mile widziane: - Doświadczenie z Microsoft Fabric (OneLake / Lakehouse) - Doświadczenie w pracy z danymi z sektora Life Sciences / Healthcare - Znajomość zagadnień Data Governance O firmie: - Jesteśmy firmą o profilu wdrożeniowo – doradczym. Specjalizujemy się m.in. w takich obszarach jak Rescue IT, transformacja cyfrowa i utrzymanie. Nasz team to aktualnie ponad 100 specjalistów: analityków biznesowych, analityków danych, projektantów UX/UI, programistów full-stack i testerów. Wspólnie tworzymy najnowocześniejsze rozwiązania cyfrowe przede wszystkim dla klientów z branż takich jak: opieka zdrowotna, bankowość, ubezpieczenia, e-commerce, FMCG i handel detaliczny. - Łączymy innowację z praktycznym podejściem do rozwiązywania problemów technologicznych. Nasz zespół to pasjonaci IT, którzy stawiają na rozwój, nowoczesne technologie i przyjazne środowisko pracy. Zakres obowiązków: - Projektowanie i wdrażanie end-to-end pipeline’ów danych (od zasilania, przez transformację, po udostępnianie) - Zarządzanie warstwą orkiestracji (np. Azure Data Factory / Fabric Data Pipelines / Airflow) - Projektowanie i implementacja architektury Medallion (Bronze / Silver / Gold) - Zapewnianie niezawodności pipeline’ów, w tym monitoringu oraz mechanizmów alertowania - Implementacja kontroli jakości danych oraz walidacji (data quality checks) - Optymalizacja wydajności przetwarzania oraz kosztów operacyjnych - Współpraca z Data Architectem w zakresie modelowania danych i decyzji architektonicznych - Integracja danych z wielu źródeł (MS SQL, API, systemy zewnętrzne, np. Meta) - Definiowanie i wdrażanie best practices (CI/CD, versioning, deployment workflows) - Pełnienie roli lidera technicznego oraz mentoring zespołu inżynierskiego Oferujemy: - Pracę przy projektach klienckich i produktach własnych. - Realny wpływ na rozwiązania biznesowe i technologiczne w ramach realizowanych projektów - Eventy firmowe, dostęp do usług medycznych oraz pakietów sportowych - Zatrudnienie na umowę B2B - Pracę w 100% zdalną lub hybrydową (Warszawa) - Krótki proces rekrutacji składający się z HR interview oraz rozmowy technicznej z managerem zespołu