Flink Data Engineer

O projekcie: Devire Outsourcing IT to forma współpracy dedykowana dla specjalistów z branży IT, oparta na zasadach własnej działalności gospodarczej - B2B, realizująca projekty dla Klientów prowadzących innowacyjne i nowoczesne projekty Dla naszego Klienta, firmy doradczo-technologicznej specjalizującej się w transformacji cyfrowej, inżynierii oprogramowania, chmurze i danych, poszukujemy osoby na stanowisko Flink Data Engineer: - B2B contract - 100% zdalnie - Stawka: 140-170 PLN netto+VAT/h - Pakiet benefitów (opieka medyczna, karta multisport itp.). - Długofalowa współpraca. Wymagania: Doświadczenie i kompetencje ogólne: - Minimum 5 lat doświadczenia w obszarze data engineering, analytics engineering lub pokrewnym, - Praktyczne doświadczenie z Google BigQuery oraz Looker (LookML) w środowisku produkcyjnym, - Bardzo dobra znajomość SQL, - Doświadczenie w modelowaniu danych, - Znajomość dbt lub podobnych narzędzi do transformacji danych, - Dobra znajomość zagadnień data governance, lineage oraz dokumentacji danych, - Umiejętności komunikacyjne i współpracy, - Praktyczne doświadczenie w korzystaniu z asystentów AI (np. Claude Code, GitHub Copilot, Cursor) w celu zwiększania produktywności, jakości lub wspierania podejmowania decyzji w procesie wytwarzania oprogramowania. Streaming & Platform Engineering: - Praktyczne doświadczenie z Apache Flink (w tym DataStream API), - Doświadczenie w utrzymaniu i aktualizacji środowisk Flink (mile widziane doświadczenie z Flink 2.0), - Dogłębne rozumienie architektury pipeline’ów streamingowych, - Znajomość optymalizacji wydajności, zarządzania stanem oraz mechanizmów fault tolerance. Migracja i transformacja danych: - Doświadczenie w migracji dużych zbiorów danych z BigQuery (BQ) do Data Cloud Storage (DCS), - Bardzo dobra znajomość konwersji formatów danych (szczególnie Avro → Parquet), - Umiejętność projektowania, skalowania i automatyzacji procesów migracyjnych, - Dbałość o integralność danych i minimalizację przestojów. Cloud & Big Data: - Dobra znajomość Google Cloud Platform (GCP) i jego usług danych, - Zrozumienie systemów rozproszonych, - Znajomość ewolucji schematów i optymalizacji przechowywania danych. Kompetencje miękkie: - Umiejętność rozbijania złożonych problemów na konkretne, wykonalne kroki, - Proaktywność i poczucie odpowiedzialności za rozwiązania, - Umiejętność identyfikowania ryzyk. Codzienne zadania: - Rozwój i utrzymanie pipeline’ów przetwarzania danych w czasie rzeczywistym z wykorzystaniem Apache Flink, - Migracja istniejących jobów Flink (DataStream API) oraz ich dostosowanie do nowych standardów platformy, - Planowanie i realizacja upgrade’u platformy Apache Flink do wersji 2.0, - Projektowanie i optymalizacja wydajnych, skalowalnych oraz odpornych na błędy architektur streamingowych, - Migracja dużych zbiorów danych z BigQuery (BQ) do Data Cloud Storage (DCS), - Automatyzacja i skalowanie procesów migracji danych w celu obsługi rosnących wolumenów, - Konwersja danych (Avro → Parquet) z uwzględnieniem wydajności, ewolucji schematów i optymalizacji storage, - Wykorzystanie narzędzi AI do usprawniania procesów migracji, walidacji i transformacji danych, - Zapewnienie wysokiej jakości i integralności danych oraz minimalizacja przestojów systemów, - Monitorowanie i optymalizacja działania pipeline’ów oraz platformy streamingowej, - Współpraca z zespołami technicznymi i biznesowymi (cross-funkcjonalnymi), - Komunikowanie zagadnień technicznych w sposób zrozumiały dla interesariuszy nietechnicznych.