Data Engineer Senior

RITS Group to firma informatyczna, która oferuje najwyższej jakości usługi programistyczne zarówno dla rynku polskiego, jak i międzynarodowego. Jesteśmy dumni, że należymy do grona najszybciej rozwijających się spółek technologicznych. Naszym priorytetem jest jakość oraz innowacyjność dostarczanych rozwiązań, a nasza kultura organizacyjna opiera się na zaufaniu, współpracy i ciągłym doskonaleniu.📍 Lokalizacja: praca hybrydowa - minimum 1 dzień w tygodniu w biurze w Warszawie 📄 Forma współpracy: B2B 💰 Stawka: do 165,60 zł/h netto ⏳ Planowany okres współpracy: powyżej 12 miesięcy Zakres obowiązków: • Projektowanie, rozwój oraz utrzymanie procesów integracji danych w środowisku GCP oraz on-premise • Budowa i optymalizacja wysokowydajnych rozwiązań do przetwarzania danych • Tworzenie oraz rozwój rozwiązań ETL/ELT • Wystawianie usług REST API • Współpraca przy przetwarzaniu i udostępnianiu danych w środowiskach o wysokich wymaganiach wydajnościowych • Docelowo przejęcie odpowiedzialności za wybrany obszar przetwarzania danych Wymagania: • Co najmniej 5-letnie doświadczenie jako Data Engineer GCP w obszarze procesów integracji danych na GCP • Bardzo dobra znajomość baz danych GCP: GCP BigQuery • GCP BigTable • Scylla Cloud (projektowanie, budowa i tuning baz danych) • Dobra znajomość narzędzi ETL Flow na GCP: Apache Airflow • GCP DataFlow • GCP DataProc • Doświadczenie w pracy z kolejkami: Kafka • GCP Pub/Sub • Co najmniej 4-letnie doświadczenie jako ETL Developer w obszarze procesów integracji danych on-premise • Biegła znajomość narzędzi ETL: Informatica PowerCenter • Apache NiFi • Ekspercka znajomość relacyjnych baz danych: Oracle • PostgreSQL • ScyllaDB (projektowanie, budowa i tuning baz danych) • Bardzo dobra znajomość narzędzia harmonogramującego AutomateNow firmy Infinity Data • Umiejętność wystawiania usług REST API • Co najmniej 3-letnie doświadczenie programistyczne • Bardzo dobra znajomość: Python (w obszarze integracji i analizy danych) • PySpark • Znajomość języka Rust do tworzenia narzędzi i frameworków wspierających wydajne ładowanie danych • Gotowość do przejęcia odpowiedzialności za wybrany obszar przetwarzania oraz udostępniania danych w środowisku o wysokich wymaganiach wydajnościowych Dodatkowo: • Podstawowa wiedza z zakresu programowania mikroserwisów w języku Java • Zaawansowana znajomość systemu Linux • Doświadczenie w pracy z dużymi wolumenami danych (~100 TB) • Umiejętność analitycznego myślenia i szybkiego przyswajania wiedzy • Samodzielność i kreatywność w rozwiązywaniu problemów • Terminowość i rzetelność w realizacji projektów • Mile widziana znajomość narzędzi pomocniczych: Git • Grafana • Apache JMeter Ta rola nie jest dla Ciebie, ale masz znajomego, który by się sprawdził? Poleć go i zgarnij nawet 5000 zł. Referral Program: Talent from your network