Data Engineer Senior

Nasze wymagania: Co najmniej 5-letniego doświadczenia jako Data Engineer GCP w obszarze procesów integracji danych na GCP: Bardzo Dobra znajomość baz danych GCP : GCP Big Query, GCP Big Table, Scylla Cloud (projektowanie, budowa i tiuning baz danych) Dobra Znajomość narzędzi ETL Flow na GCP : Apache AirFlow , GCP Data Flow, GCP Data Proc Korzystanie z kolejek : Kafka, GCP Pub / Sub Co najmniej 4-letnie doświadczenie jako Developer ETL w obszarze procesów integracji danych na on-prem : Biegłe posługiwanie się narzędziami ETL na on-prem na poziomie zaawansowanym : Informatic Power Center , ** NIFI Ekspercka znajomość relacyjne bazy danych Oracle, PostgeSQL , ScyllaDB (projektowanie, budowa i tiuning baz danych) Bardzo dobra znajomość narzędzia harmonogramującego Automate Now firmy Infinity Data Umiejętność wystawiania usług Rest API Co najmniej 3-letnie doświadczenie jako programista w językach : Biegła znajomość Python (w obszarze integracji i analizy danych), i frame work PySpark Znajomość języka Rust do pisania narzędzi i frame worków wspomagających wydajne ładowanie danych Z czasem przejęcie odpowiedzialności za wybrany obszar przetwarzania i wystawiania danych pod usługi w wysokim reżimie wydajnościowym Mile widziane: Chociaż podstawowa wiedza w zakresie programowania MicroServices w języku JAVA Korzystanie z systemu operacyjnego linux na poziomie zaawansowanego użytkownika, Doświadczenie w pracy z dużymi wolumenami danych ~100TB, Umiejętności analitycznego myślenia i szybkiego przyswajania wiedzy Samodzielności i kreatywności w rozwiązywaniu problemów Terminowości i rzetelności w realizacji projektów Mile widziana znajomość narzędzi pomocniczych : repozytorium GIT; narzędzi do monitorowania jak np. grafana ; narzędzia do testów wydajności jak Apache JMeter O projekcie: Poszukujemy Senior Data Engineerów do realizacji projektu migracji danych z Oracle do Google Cloud Platform (BigQuery). Oczekujemy wysokich kompetencji w zakresie: GCP BigQuery (projektowanie, optymalizacja, wydajność), baz danych Oracle (analiza struktur, ekstrakcja i transformacja danych). Szukamy osób, które w krótkim czasie będą w stanie przejąć odpowiedzialność za leadership w obszarze ładowań oraz udostępniania danych w ramach dużego, złożonego projektu. Zakres obowiązków: Projektowanie, budowanie i utrzymywanie struktury danych oraz systemów ETL (Extract, Transform, Load). Optymalizacja procesów przetwarzania danych w celu zapewnienia efektywności i wydajności. Współpraca z zespołami analityków danych i inżynierów oprogramowania w celu zrozumienia wymagań dotyczących danych. Zapewnienie jakości i integralności danych poprzez implementację odpowiednich testów i monitoring. Tworzenie i dokumentowanie architektury danych oraz procesów przetwarzania. Udział w projektach związanych z migracją danych oraz integracją nowych źródeł danych. Zarządzanie bazami danych i optymalizacja zapytań w celu zwiększenia wydajności. Przeprowadzanie analiz dotyczących wydajnościowych i kosztowych aspektów rozwiązań danych. Szkolenie i mentoring młodszych inżynierów danych oraz uczestnictwo w procesach rekrutacyjnych. Utrzymywanie się na bieżąco z techologiami i trendami w dziedzinie big data oraz inżynierii danych.