Senior Data Engineer / Data Architect – Azure Data Explorer, IoT streaming (Freelance)
STARTUP DEVELOPMENT HOUSE sp. z o.o.
⚲ Warszawa, Śródmieście
160–200 zł netto (+ VAT) / godz.
Wymagania
- min. 2-3 projekty data pipeline doprowadzone od zera do produkcji w roli architekta lub lead data engineera, z ADX w produkcji w co najmniej jednym
- ok. 5+ lat doświadczenia w data engineering, w tym ze strumieniami IoT i danymi szeregów czasowych
- Azure Data Explorer (Kusto) i KQL: modelowanie tabel, update policies, materialized views, retention policies, optymalizacja zapytań
- streaming ingestion na Azure: IoT Hub, Event Hubs, funkcje parsujące (np. Azure Functions), Blob Storage
- projektowanie warstwowej architektury danych (raw/Bronze → Silver → agregaty) i agregacji czasowych
- Python oraz Terraform
- samodzielność w prowadzeniu pipeline'u produkcyjnego end-to-end
- język angielski min. B2
Opis stanowiska
Przejęcie działającego PoC strumieniowego pipeline'u pomiarów IoT na Azure i doprowadzenie go do produkcji — od urządzeń edge, przez warstwę raw, po zoptymalizowane dane i rollupy w Azure Data Explorer. Będziesz budować procesor strumienia z Event Hubs do ADX, projektować kaskadę rollupów i agregacji czasowych (raw/Bronze → Silver → aggregates), wdrażać reprocessing po zmianach konfiguracji oraz modelować i optymalizować tabele ADX, polityki i zapytania pod duże wolumeny. To oferta dla samodzielnego data engineera z doświadczeniem architektonicznym, który potrafi wziąć pipeline produkcyjnie end-to-end bez prowadzenia za rękę.
🔍 Dekoder Ogłoszenia
🟡
Freelance
Brak benefitów i stabilności zatrudnienia; warto zweryfikować stawkę, czas trwania i warunki rozliczenia.
🟢
At least 2–3 data pipeline projects taken from zero to production
Konkretne i weryfikowalne wymaganie — ogłoszenie jest transparentne w tym zakresie.