Flink Data Engineer
SQUARE ONE RESOURCES sp. z o.o.
⚲ Warszawa
190–210 zł netto (+ VAT) / godz.
Wymagania
- Apache Flink
- BigQuery
- Data Cloud Storage
- Avro
- Parquet
- Copilot
- Google Cloud Platform
- AI
Opis stanowiska
Nasze wymagania: Doświadczenie z Apache Flink (DataStream API) Znajomość architektur streamingowych i systemów rozproszonych Doświadczenie w migracjach danych (BQ -> DCS) Znajomość GCP, Avro/Parquet, optymalizacji danych Umiejętność automatyzacji i skalowania procesów Komunikatywność i proaktywność Doświadczenie z narzędziami AI (np. Copilot) Mile widziane: Praca z dużymi platformami danych Monitoring i observability Zainteresowanie AI i automatyzacją O projekcie: Projekt jest dla klienta, który jest jedną z najbardziej znanych platform streamingowych, a dotyczy - wsparcia przy przebudowie całej platformy danych. Zakres obowiązków: Rozwój i utrzymanie pipeline’ów streamingowych (Apache Flink) Migracja i modernizacja jobów Flinka oraz upgrade do wersji 2.0 Projektowanie wydajnych i odpornych architektur streamingowych Migracja danych (BigQuery -> Data Cloud Storage) Automatyzacja i skalowanie procesów migracji Konwersja danych (Avro -> Parquet) Dbanie o jakość danych i minimalne przestoje Współpraca z zespołami i komunikacja techniczna Oferujemy: klient zapewnia sprzęt praca zdalna 100%