Senior Data Engineer - Apache Flink [M/F]

O projekcie: Projekt dotyczy rozwoju i modernizacji platformy danych przetwarzanych w czasie rzeczywistym. Głównym celem jest rozwój pipeline’ów streamingowych opartych o Apache Flink oraz realizacja złożonych migracji danych i upgrade’ów platformy. Naszym klientem jest globalna platforma cyfrowa działająca na ogromną skalę, obsługująca setki milionów użytkowników na całym świecie. Firma rozwija produkty subskrypcyjne, które łączą użytkowników z twórcami treści poprzez spersonalizowane, oparte na danych doświadczenia. Organizacja działa w środowisku cloud-native i rozproszonym, stawiając na automatyzację oraz wykorzystanie narzędzi AI. Wymagania: - bardzo dobra znajomość Apache Flink (w tym DataStream API), - doświadczenie w budowie i utrzymaniu pipeline’ów streamingowych, - doświadczenie w migracji danych na dużą skalę (np. BigQuery → Cloud Storage), - znajomość formatów danych (Avro, Parquet) i ich optymalizacji, - dobra znajomość Google Cloud Platform (GCP), - zrozumienie systemów rozproszonych, wydajności i fault tolerance, - umiejętność projektowania i automatyzacji procesów migracyjnych, - doświadczenie w pracy z narzędziami AI wspierającymi development (np. Copilot, Cursor), - proaktywność, samodzielność i umiejętność rozwiązywania złożonych problemów, - zaawansowana znajomość j. angielskiego. Codzienne zadania: - rozwój i utrzymanie pipeline’ów streamingowych w czasie rzeczywistym z wykorzystaniem Apache Flink (DataStream API), - migracja istniejących jobów Flink do nowych standardów platformy, - udział w upgrade platformy do Flink 2.0, - projektowanie wydajnych, skalowalnych i odpornych na błędy architektur streamingowych, - migracja danych z BigQuery (BQ) do Data Cloud Storage (DCS), - automatyzacja i skalowanie procesów migracji danych, - konwersja danych (Avro → Parquet) z uwzględnieniem wydajności i optymalizacji storage, - wykorzystanie narzędzi AI do przyspieszenia migracji, walidacji i transformacji danych, - zapewnienie jakości, spójności danych i minimalizacja przestojów, - współpraca z zespołami cross-funkcjonalnymi oraz komunikacja z interesariuszami nietechnicznymi.