Senior Data Engineer – Python, Spark, AWS
⚲ Warszawa
35 000 - 40 000 PLN (PERMANENT)
Wymagania
- min. 5 lat doświadczenia w Pythonie i silne umiejętności inżynierii oprogramowania
- doświadczenie w budowaniu skalowalnych pipeline'ów Spark w PySpark lub Scala
- praktyczne doświadczenie ze Spark Streaming dla pipeline'ów o niskim opóźnieniu
- doświadczenie z Kubernetes i orkiestracją kontenerów
- doświadczenie z MongoDB i innymi bazami NoSQL
- znajomość microservices i architektury event-driven
- doskonałe umiejętności komunikacyjne i praca w globalnym zespole
Mile widziane
- znajomość Machine Learning, modeli AI lub workflow Data Science
Opis stanowiska
Budowa skalowalnej, multitenantowej platformy danych obsługującej ingestię, transformację, katalogowanie i dystrybucję danych dla interesariuszy wewnętrznych i zewnętrznych. Rola jest kluczowa w projektowaniu pipeline'ów, ale faktyczny wpływ na decyzje może być ograniczony przez hierarchię i inne zespoły. Deklarowane 'wysokie standardy etyki, jakości i dostarczania' mogą oznaczać nacisk na jakość i terminowość, ale też presję. Praca w globalnym zespole US/Polska.
🔍 Dekoder Ogłoszenia
🔴
highly skilled team
Zespół może być rzeczywiście wysoce wykwalifikowany, ale równie dobrze może to być standardowy zwrot marketingowy, który nie gwarantuje konkretnego poziomu kompetencji.
🔴
central to designing robust data pipelines
Twoja rola będzie kluczowa w projektowaniu, ale faktyczny wpływ na decyzje i autonomię może być ograniczony przez hierarchię lub inne zespoły.
🔴
Commitment to high standards of ethics, quality, and delivery
Jest to ogólne stwierdzenie, które może oznaczać nacisk na jakość i terminowość, ale może też być używane do usprawiedliwiania intensywnej pracy i presji.
🟡
Work extensively with Databricks, including Unity Catalog, streaming, Delta Lake, and data transformation tools
Choć wymienione technologie są konkretne, 'work extensively' może oznaczać zarówno głębokie zanurzenie się w te narzędzia, jak i po prostu ich codzienne, powierzchowne używanie.
🔴
Lead technical delivery and implementation of core platform components
Może oznaczać faktyczne przywództwo techniczne i decyzyjność, ale równie dobrze może to być odpowiedzialność za wykonanie zadań delegowanych przez kogoś innego.