Big Data Engineer
⚲ Warszawa
26 880 - 31 920 PLN netto (B2B)
Wymagania
- doświadczenie w projektowaniu i rozwijaniu rozwiązań Big Data / Data Engineering na poziomie Senior
- dostępność od zaraz lub z maksymalnie 14-dniowym okresem wypowiedzenia
- zaawansowana znajomość Apache Spark (DataFrame API, Spark SQL, optymalizacja wydajności)
- praktyczne doświadczenie w wykorzystaniu Pythona w Data Engineering
- praktyczna znajomość architektury Data Lake (Parquet, Delta Lake, partycjonowanie)
- podstawowa znajomość statystyki, analizy danych i mechanizmów kontroli jakości danych
Mile widziane
- doświadczenie z Azure Databricks
- doświadczenie w projektach wykorzystujących Machine Learning
Opis stanowiska
Projekt w środowisku Microsoft Azure — projektowanie, budowa i optymalizacja skalowalnych pipeline'ów ETL/ELT oraz rozwiązań Data Lake wspierających zaawansowaną analitykę i Machine Learning. Będziesz pracować z dużymi zbiorami danych w Apache Spark, rozwiązywać problemy wydajnościowe i konsultować wymagania z interesariuszami. Uwaga: ogłoszenie nie precyzuje skali danych ani tego, czy budujesz od podstaw, czy naprawiasz istniejący system — warto dopytać na rozmowie. Praca 100% zdalna, wymagana dostępność od zaraz lub do 14 dni.
🔍 Dekoder Ogłoszenia
🔴
realizacji projektu związanego z projektowaniem, rozwojem i optymalizacją skalowalnych rozwiązań przetwarzania danych
Może oznaczać zarówno budowanie czegoś od podstaw, jak i pracę nad już istniejącym, potencjalnie problematycznym systemem.
🔴
praca z dużymi zbiorami danych
Nie precyzuje skali, może oznaczać zarówno terabajty, jak i petabajty, co wpływa na złożoność i wymagane narzędzia.
🟡
Rozwój i utrzymanie kodu z wykorzystaniem Git oraz automatyzacja wdrożeń w ramach CI/CD.
Standardowa praktyka, ale może oznaczać zarówno zaawansowane pipeline'y, jak i proste skrypty.
🔴
Analiza i rozwiązywanie problemów technicznych związanych z wydajnością i przetwarzaniem dużych zbiorów danych.
Może oznaczać głównie debugging i naprawianie istniejących problemów, a nie innowacyjne tworzenie.
🔴
Konsultowanie wymagań technicznych i biznesowych z interesariuszami projektu.
Może oznaczać zarówno strategiczne doradztwo, jak i codzienne zbieranie wymagań od osób bez wiedzy technicznej.