Data Engineer Middle

O projekcie: Cześć!  U nas znajdziesz to, czego szukasz - przekonaj się!  W Scalo czeka na Ciebie  - praca w modelu hybrydowym: 1 dzień w tygodniu w biurze w Warszawie,  -  stawka do 135 PLN/h w oparciu o współpracę B2B. Co dla Ciebie mamy? - Stabilna współpraca Wyzwania technologiczne i praca z nowoczesnymi rozwiązaniami. Internal Mobility - nie musisz zmieniać firmy, żeby zmienić projekt - Ambasadorzy SCALO Rozwijaj kompetencje techniczne i presalesowe, wpływaj na kierunek rozwoju organizacji i wspieraj innych - Budowanie marki osobistej Twórz wartościowe treści, dziel się wiedzą i doświadczeniem, występuj jako ekspert na wydarzeniach (np. ProMeet) - rozwijaj swoją markę w naturalny sposób - Benefit box Pełna opieka medyczna, karta MultiSport i szeroka oferta Motivizera - wybieraj benefity, które dbają o Twoje zdrowie, energię i codzienny komfort - Program poleceń Poleć znajomego z IT, a resztą zajmiemy się my – on dostaje nowy projekt, Ty bonus. Win–win w najczystszej postaci - Integracje i wydarzenia firmowe Wspólne wyjścia, firmowe eventy i okazje do poznania się poza projektami – bo dobre relacje tworzą najlepsze zespoły Brzmi interesująco? Aplikuj – czekamy na Twoje CV! Wymagania: Ta oferta jest dla Ciebie, jeśli: - masz co najmniej 4 lata doświadczenia jako Data Engineer GCP w obszarze procesów integracji danych, - znasz dobrze narzędzia ETL na GCP (Apache AirFlow, DataFlow, DataProc), - biegle posługujesz się bazami danych GCP (BigQuery, BigTable, Scylla Cloud) i potrafisz je projektować oraz optymalizować, - potrafisz pracować z kolejkami danych: Kafka, GCP Pub/Sub, - masz co najmniej 3 lata doświadczenia jako Developer ETL w środowiskach on‑prem, - biegle korzystasz z narzędzi ETL on‑prem: Informatica Power Center i NIFI, - masz ekspercką znajomość baz Oracle, PostgreSQL oraz ScyllaDB, - bardzo dobrze znasz narzędzie harmonogramujące Automate Now, - potrafisz wystawiać usługi REST API, - masz co najmniej 4 lata doświadczenia jako programista Python (data integration & analysis) oraz PySpark, - dobrze znasz język Rust w kontekście tworzenia narzędzi do wydajnego ładowania danych, - potrafisz przejąć odpowiedzialność za obszary wymagające wysokiej dostępności i wydajności, - masz podstawową wiedzę w zakresie programowania mikroserwisów w Javie, - mile widziana jest znajomość Groovy, - dobrze czujesz się w systemach Linux na poziomie zaawansowanego użytkownika, - masz doświadczenie w pracy z dużymi wolumenami danych (~100 TB), - posiadasz rozwinięte umiejętności analityczne i szybko przyswajasz wiedzę, - działasz samodzielnie, kreatywnie i terminowo, - mile widziana jest znajomość GIT, Grafany i Apache JMeter. Codzienne zadania: - udział w projekcie z obszaru integracji oraz przetwarzania danych w środowiskach chmurowych i on‑prem, - realizacja zadań związanych z budową i rozwojem procesów integracyjnych w GCP oraz on‑prem, - praca z narzędziami ETL w środowisku GCP: Apache AirFlow, DataFlow, DataProc, - wykorzystanie baz danych GCP: BigQuery, BigTable oraz Scylla Cloud, - praca z kolejkami danych: Kafka, GCP Pub/Sub, - projektowanie, budowa i tuning baz danych w środowiskach on‑prem (Oracle, PostgreSQL, ScyllaDB), - korzystanie z narzędzi ETL na on‑prem na poziomie zaawansowanym: Informatica Power Center, NIFI, - praca z narzędziem harmonogramującym Automate Now (Infinity Data), - tworzenie i wystawianie usług REST API, - rozwój narzędzi i frameworków w Pythonie oraz PySpark, - tworzenie narzędzi wspomagających wydajne ładowanie danych w języku Rust, - odpowiedzialność za obszar wystawiania danych pod usługi działające w wysokim reżimie wydajnościowym (24h), - praca w środowisku dużych wolumenów danych (~100 TB),