Senior Data Engineer (Databricks & Python)
⚲ Warszawa
Do uzgodnienia
Wymagania
- mocne doświadczenie inżynierskie w Azure Databricks z Python/PySpark, Spark SQL i Delta Lake
- dogłębna znajomość architektury medallion Bronze → Silver → Gold
- doświadczenie w ingestii danych strukturalnych z JSON/API/plików oraz w ADLS Gen2 i Azure Storage
- doświadczenie z Databricks Workflows/Jobs, mile widziane Delta Live Tables/Lakeflow
- doświadczenie w egzekwowaniu i ewolucji schematów, regułach jakości danych, walidacji i uzgadnianiu danych
- doświadczenie z Unity Catalog/governance oraz zarządzaniem metadanymi i lineage
- doświadczenie w CI/CD dla notebooków/kodu oraz automatycznych testach danych
- doświadczenie w obsłudze regulowanych pipeline'ów danych z traceability, audytowalnością i kontrolowanymi wdrożeniami
Opis stanowiska
Dołączysz do zespołu Labeling Data Platform, który obsługuje zbieranie, przetwarzanie, transformację, governance i dystrybucję treści labelingowych i eLabel w wielu systemach i procesach regulacyjnych. Będziesz budować i utrzymywać pipeline'y danych w środowisku Azure Databricks Lakehouse, zgodnie z architekturą medallion (Bronze → Silver → Gold), z naciskiem na jakość, audytowalność i zgodność. To oferta dla doświadczonego data engineera, który lubi pracę w środowiskach regulowanych i przykłada wagę do traceability oraz kontrolowanych wdrożeń. Uwaga: ogłoszenie odwołuje się do diagramu architektury, którego nie ma w treści — warto poprosić o niego na etapie rozmowy.
🔍 Dekoder Ogłoszenia
🔴
Bronze → Silver → Gold medallion architecture shown in the diagram
Odwołanie do diagramu, którego nie ma w treści — ogłoszenie może być niekompletne.