Data Engineer (ETL+GCP)

Otwieramy nową rekrutację na rzecz banku PKO BP na stanowisko Data Engineer.   Forma współpracy: B2B Tryb pracy: 4x1 (4 dni zdalnie 1 dzień w biurze przy Chmielnej w Warszawie) Wymagania 1. Co najmniej 5-letnie doświadczenie jako Developer ETL w obszarze procesów integracji danych na on-prem : - Biegłe posługiwanie się narzędziami ETL na on-prem na poziomie zaawansowanym : Informatic Power Center , ** NIFI - Ekspercka znajomość relacyjne bazy danych Oracle, PostgeSQL , ScyllaDB (projektowanie, budowa i tiuning baz danych) - Bardzo dobra znajomość narzędzia harmonogramującego Automate Now firmy Infinity Data - Umiejętność wystawiania usług Rest API   2. Co najmniej 3-letniego doświadczenia jako Data Engineer GCP w obszarze procesów integracji danych na GCP: - Dobra Znajomość narzędzi ETL Flow na GCP : Apache AirFlow , GCP Data Flow, GCP Data Proc - Dobra znajomość baz danych GCP : GCP Big Query, GCP Big Table, Scylla Cloud (projektowanie, budowa i tiuning baz danych) - Korzystanie z kolejek : Kafka, GCP Pub / Sub   3. Co najmniej 4-letnie doświadczenie jako programista w językach : - Biegła znajomość Python (w obszarze integracji i analizy danych), i frame work PySpark - Dobra znajomość języka Rust do pisania narzędzi i frame worków wspomagających wydajne ładowanie danych   4. Przejęcie odpowiedzialności za obszar wystawiana danych pod usługi w wysokim reżimie wydajnościowych 24h   DODATKOWO : - Chociaż podstawowa wiedza w zakresie programowania MicroServices w języku JAVA - Mile widziany język Groovy - Korzystanie z systemu operacyjnego linux na poziomie zaawansowanego użytkownika, - Doświadczenie w pracy z dużymi wolumenami danych ~100TB, - Umiejętności analitycznego myślenia i szybkiego przyswajania wiedzy - Samodzielności i kreatywności w rozwiązywaniu problemów - Terminowości i rzetelności w realizacji projektów - Mile widziana znajomość narzędzi pomocniczych : repozytorium GIT; narzędzi do monitorowania jak np. grafana ; narzędzia do testów wydajności jak Apache JMeter