Flink Data Engineer | Branża medialna

Nasze wymagania: Silne, praktyczne doświadczenie z Apache Flink, w tym w tworzeniu rozwiązań z wykorzystaniem DataStream API Udokumentowane doświadczenie w utrzymaniu i aktualizacji środowisk Flink, najlepiej z ekspozycją na Flink 2.0 Bardzo dobra znajomość architektury pipeline’ów streamingowych, optymalizacji wydajności, zarządzania stanem oraz mechanizmów odporności na awarie Doświadczenie w migracji dużych zbiorów danych z BigQuery do Data Cloud Storage Bardzo dobra znajomość konwersji formatów danych, szczególnie z Avro do Parquet Umiejętność projektowania, skalowania i automatyzacji procesów migracyjnych przy zapewnieniu integralności danych oraz minimalnych zakłóceń w działaniu usług Solidna znajomość Google Cloud Platform oraz usług danych dostępnych w GCP Dobra znajomość systemów rozproszonych, ewolucji schematów oraz strategii optymalizacji przechowywania danych Umiejętność rozbijania złożonych wyzwań migracyjnych i platformowych na jasne, możliwe do realizacji kroki Proaktywne podejście, silne poczucie odpowiedzialności za rozwiązania oraz umiejętność identyfikacji ryzyk Praktyczne doświadczenie w wykorzystywaniu narzędzi opartych na AI do przyspieszania migracji danych, transformacji lub walidacji Zrozumienie, w jaki sposób uczenie maszynowe lub inteligentna automatyzacja mogą być wykorzystywane do optymalizacji i monitorowania przepływów danych Praktyczne doświadczenie w korzystaniu z asystentów AI, takich jak Claude Code, GitHub Copilot czy Cursor, w celu zwiększenia produktywności, jakości lub trafności decyzji w procesie dostarczania oprogramowania Mile widziane: Doświadczenie w pracy przy wysokoskalowych, konsumenckich platformach danych Doświadczenie w długoterminowych programach migracyjnych obejmujących wiele źródeł danych i formatów Znajomość narzędzi oraz praktyk związanych z obserwowalnością, monitoringiem i alertowaniem w systemach streamingowych Zainteresowanie oraz znajomość rozwijających się praktyk AI-driven, takich jak workflowy agentowe, wzorce automatyzacji czy AI-augmented development, wraz z gotowością do eksplorowania i eksperymentowania poza standardowymi podejściami O projekcie: Nasz klient to globalna platforma cyfrowa działająca na ogromną skalę, obsługująca setki milionów użytkowników na całym świecie. Firma koncentruje się na tworzeniu konsumenckich produktów subskrypcyjnych, które łączą użytkowników z twórcami treści poprzez spersonalizowane, oparte na danych doświadczenia. Kultura organizacyjna opiera się na współpracy, eksperymentowaniu oraz doskonałości inżynieryjnej w wysoce rozproszonym, cloud-native środowisku. O roli Projekt koncentruje się na ciągłym rozwoju i modernizacji dużej platformy danych streamingowych. Głównym celem jest rozwijanie istniejących pipeline’ów streamingowych opartych na Apache Flink, przy jednoczesnej realizacji złożonych migracji danych oraz aktualizacji platformy. Zakres obowiązków: Rozwój i usprawnianie pipeline’ów przetwarzania danych w czasie rzeczywistym z wykorzystaniem Apache Flink Migracja istniejących zadań Flink opartych na DataStream API oraz dostosowywanie ich do nowszych standardów platformowych Prowadzenie i realizacja aktualizacji platformy Flink do wersji 2.0 Projektowanie, optymalizacja i utrzymanie wysokowydajnych, odpornych na awarie architektur streamingowych Migracja dużych zbiorów danych z BigQuery do Data Cloud Storage Skalowanie i automatyzacja bieżących procesów migracji danych w celu obsługi rosnących wolumenów danych Konwersja zbiorów danych z formatu Avro do Parquet z uwzględnieniem wydajności, ewolucji schematów oraz optymalizacji przechowywania danych Wykorzystywanie narzędzi AI do przyspieszania procesów migracji, walidacji i transformacji danych Zapewnienie jakości, integralności danych oraz minimalnych przestojów podczas migracji Współpraca z zespołami cross-funkcyjnymi oraz jasne komunikowanie zagadnień technicznych interesariuszom nietechnicznym Oferujemy: Zyskujesz indywidualne wsparcie Service Delivery Managera, który pomoże Ci zaplanować ścieżkę kariery i zadba o Twój komfort i satysfakcję z pracy w projekcie Szkolenia, certyfikaty i konferencje - dofinansowujemy lub w pełni pokrywamy koszty rozwoju kompetencji technicznych SmartChange – umożliwiamy zmianę projektu i dobieramy kolejny zgodnie z Twoimi preferencjami Dbamy o Twój work-life balance, dlatego poza pracą oferujemy wyjścia integracyjne, aktywności sportowe i inspirujące webinary #edge1talks, które rozwijają i łączą ludzi Aktywność fizyczna – wspieramy sportowe inicjatywy i wynajem sal treningowych Pakiet zdrowotny – prywatna opieka, karta sportowa, ubezpieczenie i wsparcie psychologiczne (HearMe) Elastyczne benefity – sam decydujesz, na co przeznaczasz punkty w naszym systemie benefitowym Bezpłatne lekcje języka angielskiego – dopasowane do Twojego poziomu, idealne do pracy w międzynarodowym środowisku