Flink Data Engineer (k/m/d)
Nexio Management Sp. z o.o.
⚲ Warszawa
Wymagania
- Google Cloud Platform
- Flink
- BigQuery
Opis stanowiska
Nasze wymagania: Bardzo dobra znajomość Apache Flink (DataStream API, utrzymanie i upgrade do Flink 2.0) Doświadczenie w architekturze streamingu: wydajność, state management, fault tolerance Migracje dużych zbiorów danych z BigQuery oraz konwersja Avro → Parquet Projektowanie i automatyzacja skalowalnych procesów migracyjnych z zachowaniem integralności danych Praktyczne doświadczenie w korzystaniu z asystentów opartych na sztucznej inteligencji Dobra znajomość GCP, systemów rozproszonych, ewolucji schematów i optymalizacji storage’u Zakres obowiązków: Rozwój i ulepszanie potoków przesyłania strumieniowego w czasie rzeczywistym z wykorzystaniem Apache Flink Migracja i dostosowanie zadań Flink (DataStream API) do nowych standardów platformy Aktualizacja platformy Flink do wersji 2.0 Projektowanie i utrzymanie odpornych na błędy architektur przesyłania strumieniowego Migracja dużych zbiorów danych z BigQuery do Data Cloud Storage Automatyzacja i skalowanie procesów migracji danych Konwersja danych z Avro do Parquet z optymalizacją wydajności i storage Wykorzystanie narzędzi AI do usprawnienia migracji, walidacji i transformacji danych Oferujemy: Umowę B2B lub umowę o pracę Pracę z najnowszymi technologiami Pakiet benefitów: Medicover (rozszerzony o stomatologię), karta sportowa FitProfit Finansowanie certyfikatów technicznych Lektoraty języka angielskiego Stabilne zatrudnienie Przyjazną atmosferę pracy