Senior Big Data Engineer
⚲ Warszawa, Wrocław, Kraków, Gdańsk
Do uzgodnienia
Wymagania
- bardzo dobre doświadczenie w tworzeniu oprogramowania w Scali
- głęboka znajomość Apache Spark (DataFrame/SQL API)
- praktyczne doświadczenie ze Spark Streaming
- dobra znajomość Kubernetes w kontekście działania Sparka na klastrach Kube
- doświadczenie z formatami data lakehouse: Hive i Iceberg
- doświadczenie w orkiestracji workflow z Apache Airflow
- biegła znajomość SQL, w tym zaawansowany SparkSQL (window functions, złożone group-by)
Mile widziane
- doświadczenie z Apache Flink, Claude (Anthropic), Data Lakes/DWH oraz DevOps/CI-CD
Opis stanowiska
Praca nad dużymi pipeline'ami raportowymi i infrastrukturą przetwarzania ogromnych zbiorów danych dla globalnego lidera ekosystemu aplikacji mobilnych. W praktyce oznacza to zarówno tworzenie logiki danych w Scali/Sparku, jak i utrzymanie oraz optymalizację infrastruktury (m.in. Spark na Kubernetes), co wykracza poza typowe obowiązki inżyniera Big Data. Zespół jest rozproszony geograficznie (Europa i inne strefy czasowe), a algorytmy mają bezpośredni wpływ na decyzje strategiczne — liczy się precyzja i odporność na presję.
🔍 Dekoder Ogłoszenia
🔴
building next-generation reporting pipelines and infrastructure capable of processing massive datasets
Prawdopodobnie będziesz pracować nad istniejącą, ale przestarzałą infrastrukturą, która wymaga gruntownej przebudowy, a nie budowania od zera.
🔴
taking ownership of both data logic and the underlying infrastructure
Oczekuje się, że będziesz odpowiedzialny za szeroki zakres zadań, od tworzenia logiki danych po zarządzanie infrastrukturą, co może oznaczać pracę wykraczającą poza typowe obowiązki inżyniera Big Data.
🔴
work within a distributed team of leading big data engineers across Europe and overseas
Praca w rozproszonym zespole może oznaczać wyzwania komunikacyjne i konieczność dostosowania się do różnych stref czasowych.
🔴
ensuring the highest accuracy for algorithms that drive strategic decisions for our stakeholders
Podkreśla to wagę precyzji, ale może również sugerować dużą presję na wyniki i odpowiedzialność za krytyczne decyzje biznesowe.
🔴
leveraging Kubernetes to manage, monitor, and optimize how Spark runs on Kube clusters
Choć brzmi to nowocześnie, może oznaczać, że będziesz spędzać dużo czasu na rozwiązywaniu problemów związanych z konfiguracją i optymalizacją Sparka w środowisku Kubernetes, a nie tylko na tworzeniu nowych rozwiązań.