Data Engineer

O projekcie: Cześć! U nas znajdziesz to, czego szukasz - przekonaj się! Co dla Ciebie mamy: -  Stabilna współpraca Wyzwania technologiczne i praca z nowoczesnymi rozwiązaniami. Internal Mobility - nie musisz zmieniać firmy, żeby zmienić projekt -  Ambasadorzy SCALO Rozwijaj kompetencje techniczne i presalesowe, wpływaj na kierunek rozwoju organizacji i wspieraj innych -  Budowanie marki osobistej Twórz wartościowe treści, dziel się wiedzą i doświadczeniem, występuj jako ekspert na wydarzeniach (np. ProMeet) - rozwijaj swoją markę w naturalny sposób -  Benefit box Pełna opieka medyczna, karta MultiSport i szeroka oferta Motivizera - wybieraj benefity, które dbają o Twoje zdrowie, energię i codzienny komfort -  Program poleceń Poleć znajomego z IT, a resztą zajmiemy się my – on dostaje nowy projekt, Ty bonus. Win–win w najczystszej postaci -  Integracje i wydarzenia firmowe Wspólne wyjścia, firmowe eventy i okazje do poznania się poza projektami – bo dobre relacje tworzą najlepsze zespoły Wymagania: Ta oferta jest dla Ciebie, jeśli: - posiadasz min. 5-letnie doświadczenie jako Data Engineer w GCP w obszarze integracji danych, - bardzo dobrze znasz GCP BigQuery, BigTable oraz Scylla Cloud (projektowanie, budowa, tuning), - masz doświadczenie z Apache Airflow, GCP DataFlow oraz DataProc, - pracowałeś z systemami kolejkowymi (Kafka, GCP Pub/Sub), - posiadasz min. 4-letnie doświadczenie w ETL na środowiskach on-prem, - bardzo dobrze znasz narzędzia ETL (Informatica PowerCenter, NiFi), - posiadasz ekspercką wiedzę z zakresu baz danych (Oracle, PostgreSQL, ScyllaDB), - masz doświadczenie z narzędziem Automate Now firmy Infinity Data, - potrafisz tworzyć i wystawiać usługi REST API, - posiadasz min. 3-letnie doświadczenie w Python (w tym PySpark), - znasz język Rust w kontekście budowy wydajnych narzędzi, - znasz Linux na poziomie zaawansowanym, - masz doświadczenie w pracy z dużymi wolumenami danych, - cechuje Cię analityczne myślenie, samodzielność i kreatywność, - mile widziane: znajomość Java (microservices), Git, Grafana oraz Apache JMeter. Codzienne zadania: - uczestnictwo w projekcie z branży bankowej, obejmującym przetwarzanie dużych wolumenów danych (~100TB) oraz budowę rozwiązań do wysokowydajnej integracji i udostępniania danych. Wykorzystywany stos technologiczny w projekcie: GCP (BigQuery, DataFlow, DataProc), Kafka / PubSub, Python (PySpark), Airflow, - projektowanie, budowa i tuning rozwiązań data engineeringowych w środowisku GCP, - tworzenie i rozwój procesów integracji danych (ETL/ELT) w chmurze i środowisku on-prem, - utrzymanie i rozwój pipeline’ów danych z wykorzystaniem Apache Airflow oraz DataFlow, - optymalizacja wydajności przetwarzania i ładowania danych (BigQuery, BigTable, ScyllaDB), - praca z systemami kolejkowymi (Kafka, Pub/Sub), - tworzenie i utrzymywanie usług REST API, - rozwój narzędzi wspierających przetwarzanie danych (Python, PySpark, Rust), - zarządzanie harmonogramowaniem procesów (Automate Now), - współpraca przy migracji i integracji rozwiązań on-prem z GCP, - praca w modelu hybrydowym: 1 dzień w tygodniu w biurze w Warszawie, - stawka do 165 zł/h przy B2B w zależności od doświadczenia.