Data Engineer (Senior)

O projekcie: Cześć! U nas znajdziesz to, czego szukasz - przekonaj się! Co dla Ciebie mamy: -  Stabilna współpraca Wyzwania technologiczne i praca z nowoczesnymi rozwiązaniami. Internal Mobility - nie musisz zmieniać firmy, żeby zmienić projekt -  Ambasadorzy SCALO Rozwijaj kompetencje techniczne i presalesowe, wpływaj na kierunek rozwoju organizacji i wspieraj innych -  Budowanie marki osobistej Twórz wartościowe treści, dziel się wiedzą i doświadczeniem, występuj jako ekspert na wydarzeniach (np. ProMeet) - rozwijaj swoją markę w naturalny sposób -  Benefit box Pełna opieka medyczna, karta MultiSport i szeroka oferta Motivizera - wybieraj benefity, które dbają o Twoje zdrowie, energię i codzienny komfort -  Program poleceń Poleć znajomego z IT, a resztą zajmiemy się my – on dostaje nowy projekt, Ty bonus. Win–win w najczystszej postaci -  Integracje i wydarzenia firmowe Wspólne wyjścia, firmowe eventy i okazje do poznania się poza projektami – bo dobre relacje tworzą najlepsze zespoły Wymagania: Ta oferta jest dla Ciebie, jeśli: - masz co najmniej 5-letnie doświadczenie jako Data Engineer GCP w obszarze procesów integracji danych na GCP, - bardzo dobrze znasz bazy danych GCP: GCP Big Query, GCP Big Table, Scylla Cloud, - dobrze znasz narzędzia ETL Flow na GCP: Apache AirFlow, GCP Data Flow, GCP Data Proc, - korzystasz z kolejek Kafka oraz GCP Pub / Sub, - masz co najmniej 4-letnie doświadczenie jako Developer ETL w obszarze procesów integracji danych on-prem, - biegle posługujesz się narzędziami ETL on-prem na poziomie zaawansowanym: Informatica Power Center, NIFI, - posiadasz ekspercką znajomość relacyjnych baz danych Oracle, PostgreSQL, ScyllaDB, - bardzo dobrze znasz narzędzie harmonogramujące Automate Now firmy Infinity Data, - potrafisz wystawiać usługi Rest API, - masz co najmniej 3-letnie doświadczenie jako programista, - biegle znasz Python w obszarze integracji i analizy danych oraz framework PySpark, - znasz język Rust do pisania narzędzi i frameworków wspomagających wydajne ładowanie danych. Mile widziane: - podstawowa wiedza w zakresie programowania MicroServices w języku JAVA, - korzystanie z systemu operacyjnego Linux na poziomie zaawansowanego użytkownika, - doświadczenie w pracy z dużymi wolumenami danych ~100TB, - umiejętności analitycznego myślenia i szybkiego przyswajania wiedzy, - samodzielność i kreatywność w rozwiązywaniu problemów, - terminowość i rzetelność w realizacji projektów, - znajomość narzędzi pomocniczych: repozytorium GIT, narzędzi do monitorowania jak np. Grafana, narzędzi do testów wydajności jak Apache JMeter Codzienne zadania: - praca w obszarze procesów integracji danych na GCP, - praca w obszarze procesów integracji danych on-prem, - projektowanie, budowa i tuning baz danych, - korzystanie z narzędzi ETL na GCP i on-prem, - korzystanie z kolejek Kafka oraz GCP Pub / Sub, - wystawianie usług Rest API, - praca w języku Python oraz z frameworkiem PySpark, - wykorzystanie języka Rust do pisania narzędzi i frameworków wspomagających wydajne ładowanie danych, - z czasem przejęcie odpowiedzialności za wybrany obszar przetwarzania i wystawiania danych pod usługi w wysokim reżimie wydajnościowym, - praca w modelu hybrydowym 1 raz w tygodniu z biura w Warszawie.