Senior Data Engineer
⚲ Warsaw
Do uzgodnienia
Wymagania
- doświadczenie w budowie i utrzymaniu skalowalnych pipeline'ów danych
- praktyczna znajomość Kafka/MSK, AWS Glue, Python i PySpark
- doświadczenie w integracji różnych źródeł danych (API, event streams, batch)
- doświadczenie w pracy z CI/CD, monitoringiem i logowaniem
- doświadczenie w pracy z enterprise data models i standardami danych
Opis stanowiska
Aviva buduje korporacyjny Operational Data Store w chmurze AWS; jako Senior Data Engineer będziesz projektować i utrzymywać pipeline'y ingestii i transformacji danych z użyciem Kafki (MSK), AWS Glue, Pythona i PySpark. Rola obejmuje zarówno budowę nowych rozwiązań, jak i wsparcie istniejących, a także onboarding nowych domen danych do platformy ODS według powtarzalnych, metadata-driven wzorców. To oferta dla inżyniera, który lubi pracę z wieloma źródłami danych (API, event streams, batch) i nie boi się odpowiedzialności operacyjnej. Uwaga: onboarding nowych domen może oznaczać pracę z przestarzałymi lub słabo udokumentowanymi danymi, a współpraca z szerokim gronem interesariuszy (Tech Leads, architekci, API Engineers, Domain Teams) może wydłużać procesy decyzyjne.
🔍 Dekoder Ogłoszenia
🔴
supporting scalable data ingestion and transformation pipelines
Może oznaczać zarówno budowanie nowych, jak i utrzymywanie istniejących, potencjalnie problematycznych systemów.
🔴
collaborate closely with Technical Leads, Solution Architects, API Engineers and Domain Teams
Oznacza dużą liczbę interesariuszy i potencjalnie długie procesy decyzyjne.
🔴
onboard new data domains into the ODS platform using reusable, metadata-driven patterns and enterprise data standards
Może oznaczać pracę z przestarzałymi lub słabo udokumentowanymi danymi, które wymagają adaptacji do nowych standardów.
🔴
Delivering end-to-end Operational Data Store (ODS) data flows integrating APIs, event streams and batch sources
Wskazuje na złożoność integracji różnych źródeł danych, co może prowadzić do trudności w debugowaniu i utrzymaniu.
🔴
Supporting CI/CD pipelines, monitoring, logging and operational excellence initiatives
Może oznaczać odpowiedzialność za utrzymanie infrastruktury i procesów, a nie tylko za rozwój nowych funkcjonalności.