Flink Data Engineer
Square One Resources
⚲ Warsaw
31 920 - 35 280 PLN (B2B)
Wymagania
- Apache Flink
- BigQuery
- Data Cloud Storage
- Avro
- Parquet
- GCP
- Copilot
- AI (nice to have)
Opis stanowiska
O projekcie: Projekt jest dla klienta, który jest jedną z najbardziej znanych platform streamingowych, a dotyczy - wsparcia przy przebudowie całej platformy danych. Wymagania: - Doświadczenie z Apache Flink (DataStream API) - Znajomość architektur streamingowych i systemów rozproszonych - Doświadczenie w migracjach danych (BQ -> DCS) - Znajomość GCP, Avro/Parquet, optymalizacji danych - Umiejętność automatyzacji i skalowania procesów - Komunikatywność i proaktywność - Doświadczenie z narzędziami AI (np. Copilot) Codzienne zadania: - Rozwój i utrzymanie pipeline’ów streamingowych (Apache Flink) - Migracja i modernizacja jobów Flinka oraz upgrade do wersji 2.0 - Projektowanie wydajnych i odpornych architektur streamingowych - Migracja danych (BigQuery -> Data Cloud Storage) - Automatyzacja i skalowanie procesów migracji - Konwersja danych (Avro -> Parquet) - Dbanie o jakość danych i minimalne przestoje - Współpraca z zespołami i komunikacja techniczna