Data Engineer (GCP)

Projekt bankowy. Praca hybrydowa - min. 1 dzień w tygodniu w biurze (centrum Warszawy). Wymagania: • Co najmniej 5-letniego doświadczenia jako Data Engineer GCP w obszarze procesów integracji danych na GCP: • Bardzo Dobra znajomość baz danych GCP : GCP Big Query, GCP Big Table, Scylla Cloud (projektowanie, budowa i tiuning baz danych) • Dobra Znajomość narzędzi ETL Flow na GCP : Apache AirFlow , GCP Data Flow, GCP Data Proc • Korzystanie z kolejek : Kafka, GCP Pub / Sub • Co najmniej 4-letnie doświadczenie jako Developer ETL w obszarze procesów integracji danych na onprem : • Biegłe posługiwanie się narzędziami ETL na on-prem na poziomie zaawansowanym : Informatic Power Center , ** NIFI • Ekspercka znajomość relacyjne bazy danych Oracle, PostgeSQL , ScyllaDB (projektowanie, budowa i tiuning baz danych) • Bardzo dobra znajomość narzędzia harmonogramującego Automate Now firmy Infinity Data • Umiejętność wystawiania usług Rest API • Co najmniej 3-letnie doświadczenie jako programista w językach : • Biegła znajomość Python (w obszarze integracji i analizy danych), i frame work PySpark • Znajomość znajomość języka Rust do pisania narzędzi i frame worków wspomagających wydajne ładowanie danych • Z czasem przejęcie odpowiedzialności za wybrany obszar przetwarzania i wystawiania danych pod usługi w wysokim reżimie wydajnościowym Dodatkowo: • Chociaż podstawowa wiedza w zakresie programowania MicroServices w języku JAVA, • Korzystanie z systemu operacyjnego linux na poziomie zaawansowanego użytkownika, • Doświadczenie w pracy z dużymi wolumenami danych ~100TB, • Umiejętności analitycznego myślenia i szybkiego przyswajania wiedzy • Samodzielności i kreatywności w rozwiązywaniu problemów • Terminowości i rzetelności w realizacji projektów • Mile widziana znajomość narzędzi pomocniczych : repozytorium GIT; narzędzi do monitorowania jak np. grafana ; narzędzia do testów wydajności jak Apache JMeter