Senior Data Engineer (Databricks & Python)
⚲ Warszawa
Do uzgodnienia
Wymagania
- doświadczenie w inżynierii Azure Databricks z Python/PySpark, Spark SQL i Delta Lake
- dogłębna znajomość architektury medallion Bronze → Silver → Gold
- doświadczenie w ingestii danych strukturalnych JSON/API/plikowych oraz pracy z ADLS Gen2 i Azure Storage
- doświadczenie z Databricks Workflows/Jobs, preferowane Delta Live Tables/Lakeflow
- doświadczenie w schema enforcement/evolution, regułach jakości danych, walidacji i reconciliation
- doświadczenie z Unity Catalog/governance
- doświadczenie w CI/CD dla notebooków/kodu oraz automatycznych testów danych
- doświadczenie w pracy w środowiskach regulowanych z wymogami compliance i jakości
Opis stanowiska
Dołączysz do zespołu Labeling Data Platform, gdzie będziesz projektować, budować i utrzymywać skalowalne pipeline'y danych oraz produkty danych w środowisku Azure Databricks Lakehouse. Platforma wspiera zbieranie, przetwarzanie, transformację, zarządzanie i dystrybucję treści labelingowych i eLabel w wielu systemach i procesach regulacyjnych. Będziesz współpracować z interesariuszami biznesowymi, architektami i konsumentami danych, dbając o wysoką jakość, audytowalność i zgodność przepływów danych.
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.