Data Engineer (GCP)

Nasze wymagania: Co najmniej 5-letniego doświadczenia jako Data Engineer GCP w obszarze procesów integracji danych na GCP Bardzo dobra znajomość baz danych GCP: GCP Big Query, GCP Big Table, Scylla Cloud (projektowanie, budowa i tuning baz danych) Dobra znajomość narzędzi ETL Flow na GCP: Apache AirFlow, GCP Data Flow, GCP Data Proc Korzystanie z kolejek: Kafka, GCP Pub/Sub Co najmniej 4-letnie doświadczenie jako Developer ETL w obszarze procesów integracji danych na on-prem Biegłe posługiwanie się narzędziami ETL na on-prem na poziomie zaawansowanym: Informatica PowerCenter, NIFI Ekspercka znajomość relacyjnych baz danych Oracle, PostgreSQL, ScyllaDB (projektowanie, budowa i tuning baz danych) Bardzo dobra znajomość narzędzia harmonogramującego Automate Now firmy Infinity Data Umiejętność wystawiania usług Rest API Biegła znajomość Python (w obszarze integracji i analizy danych) oraz framework PySpark Znajomość języka Rust do pisania narzędzi i frameworków wspomagających wydajne ładowanie danych Z czasem przejęcie odpowiedzialności za wybrany obszar przetwarzania i wystawiania danych pod usługi w wysokim reżimie wydajnościowym Mile widziane: Podstawowa wiedza w zakresie programowania MicroServices w języku JAVA Korzystanie z systemu operacyjnego Linux na poziomie zaawansowanego użytkownika Doświadczenie w pracy z dużymi wolumenami danych ~100TB Umiejętności analitycznego myślenia i szybkiego przyswajania wiedzy Samodzielność i kreatywność w rozwiązywaniu problemów Terminowość i rzetelność w realizacji projektów Mile widziana znajomość narzędzi pomocniczych: repozytorium GIT, narzędzi do monitorowania jak np. Grafana, narzędzia do testów wydajności jak Apache JMeter O projekcie: Praca w obszarze przetwarzania i wystawiania danych pod usługi w wysokim reżimie wydajnościowym Integracja dużych wolumenów danych (~100TB) Praca z procesami ETL zarówno na GCP (chmura), jak i on-prem Zakres obowiązków: Rozwój projektu bankowego