Data Engineer Senior (he/she)

Twój zakres obowiązków • Projektowanie, budowanie i utrzymywanie struktury danych oraz systemów ETL (Extract, Transform, Load). • Optymalizacja procesów przetwarzania danych w celu zapewnienia efektywności i wydajności. • Współpraca z zespołami analityków danych i inżynierów oprogramowania w celu zrozumienia wymagań dotyczących danych. • Zapewnienie jakości i integralności danych poprzez implementację odpowiednich testów i monitoring. • Tworzenie i dokumentowanie architektury danych oraz procesów przetwarzania. • Udział w projektach związanych z migracją danych oraz integracją nowych źródeł danych. • Zarządzanie bazami danych i optymalizacja zapytań w celu zwiększenia wydajności. • Przeprowadzanie analiz dotyczących wydajnościowych i kosztowych aspektów rozwiązań danych. • Szkolenie i mentoring młodszych inżynierów danych oraz uczestnictwo w procesach rekrutacyjnych. • Utrzymywanie się na bieżąco z techologiami i trendami w dziedzinie big data oraz inżynierii danych. Nasze wymagania • Co najmniej 5-letniego doświadczenia jako Data Engineer GCP w obszarze procesów integracji danych na GCP: • Bardzo Dobra znajomość baz danych GCP : GCP Big Query, GCP Big Table, Scylla Cloud (projektowanie, budowa i tiuning baz danych) • Dobra Znajomość narzędzi ETL Flow na GCP : Apache AirFlow , GCP Data Flow, GCP Data Proc • Korzystanie z kolejek : Kafka, GCP Pub / Sub • Co najmniej 4-letnie doświadczenie jako Developer ETL w obszarze procesów integracji danych na on-prem : • Biegłe posługiwanie się narzędziami ETL na on-prem na poziomie zaawansowanym : Informatic Power Center , ** NIFI • Ekspercka znajomość relacyjne bazy danych Oracle, PostgeSQL , ScyllaDB (projektowanie, budowa i tiuning baz danych) • Bardzo dobra znajomość narzędzia harmonogramującego Automate Now firmy Infinity Data • Umiejętność wystawiania usług Rest API • Co najmniej 3-letnie doświadczenie jako programista w językach : • Biegła znajomość Python (w obszarze integracji i analizy danych), i frame work PySpark • Znajomość języka Rust do pisania narzędzi i frame worków wspomagających wydajne ładowanie danych • Z czasem przejęcie odpowiedzialności za wybrany obszar przetwarzania i wystawiania danych pod usługi w wysokim reżimie wydajnościowym Mile widziane • Chociaż podstawowa wiedza w zakresie programowania MicroServices w języku JAVA • Korzystanie z systemu operacyjnego linux na poziomie zaawansowanego użytkownika, • Doświadczenie w pracy z dużymi wolumenami danych ~100TB, • Umiejętności analitycznego myślenia i szybkiego przyswajania wiedzy • Samodzielności i kreatywności w rozwiązywaniu problemów • Terminowości i rzetelności w realizacji projektów • Mile widziana znajomość narzędzi pomocniczych : repozytorium GIT; narzędzi do monitorowania jak np. grafana ; narzędzia do testów wydajności jak Apache JMeter