Data Engineer

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Jesteśmy firmą, która wykorzystuje szerokie spektrum usług IT, żeby pomagać klientom. Obszary naszego działania to m.in.: doradztwo technologiczne, tworzenie oprogramowania, systemy wbudowane, rozwiązania chmurowe, zarządzanie danymi, dedykowane zespoły developerskie. Cześć! U nas znajdziesz to, czego szukasz - przekonaj się! W Scalo czeka na Ciebie: • uczestnictwo w projekcie z branży bankowej, obejmującym przetwarzanie dużych wolumenów danych (~100TB) oraz budowę rozwiązań do wysokowydajnej integracji i udostępniania danych. Wykorzystywany stos technologiczny w projekcie: GCP (BigQuery, DataFlow, DataProc), Kafka / PubSub, Python (PySpark), Airflow, • projektowanie, budowa i tuning rozwiązań data engineeringowych w środowisku GCP, • tworzenie i rozwój procesów integracji danych (ETL/ELT) w chmurze i środowisku on-prem, • utrzymanie i rozwój pipeline’ów danych z wykorzystaniem Apache Airflow oraz DataFlow, • optymalizacja wydajności przetwarzania i ładowania danych (BigQuery, BigTable, ScyllaDB), • praca z systemami kolejkowymi (Kafka, Pub/Sub), • tworzenie i utrzymywanie usług REST API, • rozwój narzędzi wspierających przetwarzanie danych (Python, PySpark, Rust), • zarządzanie harmonogramowaniem procesów (Automate Now), • współpraca przy migracji i integracji rozwiązań on-prem z GCP, • praca w modelu hybrydowym: 1 dzień w tygodniu w biurze w Warszawie, • stawka do 165 zł/h przy B2B w zależności od doświadczenia. Ta oferta jest dla Ciebie, jeśli: • posiadasz min. 5-letnie doświadczenie jako Data Engineer w GCP w obszarze integracji danych, • bardzo dobrze znasz GCP BigQuery, BigTable oraz Scylla Cloud (projektowanie, budowa, tuning), • masz doświadczenie z Apache Airflow, GCP DataFlow oraz DataProc, • pracowałeś z systemami kolejkowymi (Kafka, GCP Pub/Sub), • posiadasz min. 4-letnie doświadczenie w ETL na środowiskach on-prem, • bardzo dobrze znasz narzędzia ETL (Informatica PowerCenter, NiFi), • posiadasz ekspercką wiedzę z zakresu baz danych (Oracle, PostgreSQL, ScyllaDB), • masz doświadczenie z narzędziem Automate Now firmy Infinity Data, • potrafisz tworzyć i wystawiać usługi REST API, • posiadasz min. 3-letnie doświadczenie w Python (w tym PySpark), • znasz język Rust w kontekście budowy wydajnych narzędzi, • znasz Linux na poziomie zaawansowanym, • masz doświadczenie w pracy z dużymi wolumenami danych, • cechuje Cię analityczne myślenie, samodzielność i kreatywność, • mile widziane: znajomość Java (microservices), Git, Grafana oraz Apache JMeter. Co dla Ciebie mamy? • Stabilną współpracę i różnorodne projekty (Software, Embedded, Data, Cloud Services),  • możliwość rozwoju kompetencji jako Ambasador Scalo - doskonal skille techniczne i presalesowe w społeczności naszych ekspertów, wpływaj na rozwój organizacji, wspieraj innych, • przestrzeń do budowania marki osobistej - twórz wartościowe treści, dziel się wiedzą i doświadczeniem, występuj jako prelegent na wydarzeniach (np. ProMeet), • prywatną opiekę medyczną - Luxmed, • kafeteryjny system benefitów - Motivizer,  • dostęp do karty Multisport,  • program poleceń pracowniczych z nagrodami, • integracje i wydarzenia firmowe.