Lead Data Engineer - Databricks Platform
Vaillant Group Business Services
⚲ Katowice
19 000 - 24 000 PLN brutto (UoP)
Wymagania
- wykształcenie wyższe w informatyce, data engineering, systemach informacyjnych lub pokrewnym
- kilkuletnie doświadczenie w data engineering z odpowiedzialnością za przywództwo techniczne lub seniorskie
- głęboka znajomość Databricks i Apache Spark, w tym performance tuning, workload management i Delta Lake
- mocne umiejętności programowania w Pythonie i SQL
- stosowanie zasad inżynierii oprogramowania (testy, CI/CD, jakość kodu, observability, automatyzacja) w rozwoju platformy danych
- pewna komunikacja w języku angielskim
Mile widziane
- doświadczenie z Spark Declarative Pipelines i Declarative Automation Bundles
Opis stanowiska
Rola Lead Data Engineer odpowiedzialna za kierunek techniczny enterprise'owej platformy danych opartej na Databricks. Będziesz prowadzić modernizację obciążeń w kierunku Spark Declarative Pipelines, ustanawiać standardy inżynierskie, optymalizować wydajność i koszty oraz wspierać zespoły w rozwiązywaniu złożonych problemów danych. To oferta dla doświadczonego inżyniera z kompetencjami przywódczymi, gotowego łączyć pracę hands-on z rolą technicznego autorytetu. Uwaga: ogłoszenie mówi o migracji istniejących obciążeń i redukcji długu technicznego — realnie oznacza to pracę z istniejącym, potencjalnie złożonym kodem i presję na sprawne dostarczanie.
🔍 Dekoder Ogłoszenia
🔴
define and drive the technical evolution of our enterprise data platform
Będziesz odpowiedzialny za strategiczne kierunki rozwoju platformy danych, co może oznaczać zarówno innowacje, jak i konieczność radzenia sobie z istniejącym, potencjalnie przestarzałym kodem.
🔴
leading our Databricks modernization journey
Może oznaczać migrację z istniejących, ale niekoniecznie dobrze udokumentowanych lub przestarzałych rozwiązań, co wiąże się z ryzykiem i nieprzewidzianymi trudnościami.
🟡
establishing reusable frameworks and best practices
Oznacza to, że będziesz musiał stworzyć lub ujednolicić procesy i narzędzia, co może wymagać znacznego nakładu pracy w początkowej fazie.
🟢
trusted consultant and technical authority
Oczekuje się, że będziesz nie tylko technicznie kompetentny, ale także potrafił skutecznie komunikować się i wpływać na decyzje innych zespołów i interesariuszy.
🔴
driving efficient delivery processes
Może oznaczać presję na szybkie dostarczanie, nawet kosztem jakości lub dokładności, jeśli nie zostaną jasno określone priorytety.