Data Engineer – Data Lake / BigQuery / Event-Driven Architecture

RITS Group to firma informatyczna, która oferuje najwyższej jakości usługi programistyczne zarówno dla rynku polskiego, jak i międzynarodowego. Jesteśmy dumni, że należymy do grona najszybciej rozwijających się spółek technologicznych. Naszym priorytetem jest jakość oraz innowacyjność dostarczanych rozwiązań, a nasza kultura organizacyjna opiera się na zaufaniu, współpracy i ciągłym doskonaleniu. Oferujemy Obecnie poszukujemy Data Engineerów, którzy dołączą do zespołu rozwijającego nowoczesną platformę danych opartą o architekturę Data Lake / Data Warehouse. Najważniejsze informacje Liczba osób: 2Forma współpracy: B2BStawka: do 170 zł/h netto + VATTryb pracy: hybrydowy – 1 dzień w tygodniu w biurze (Warszawa)Start: do uzgodnieniaCzas trwania projektu: ponad 12 miesięcy O projekcie Zespół buduje nowoczesną platformę danych wspierającą przetwarzanie dużych wolumenów danych w architekturze Data Lake oraz Data Warehouse. Rozwiązania powstają zarówno w środowiskach on-premise, jak i w chmurze Google Cloud Platform. Praca obejmuje projektowanie pipeline’ów danych, modelowanie struktur danych oraz rozwój rozwiązań do przetwarzania danych w architekturze event-driven.   Obowiązki Zakres obowiązków • Projektowanie i rozwój rozwiązań klasy Data Lake oraz Data Warehouse • Budowa i utrzymanie pipeline’ów ETL / ELT • Projektowanie oraz optymalizacja modeli danych (logicznych i fizycznych) • Optymalizacja zapytań SQL w bazach relacyjnych i hurtowniach danych • Tworzenie procesów zasilania danych online oraz offline • Projektowanie przepływów danych w środowisku on-prem oraz GCP • Budowa rozwiązań do ładowania danych dla danych strukturalnych i niestrukturalnych • Tworzenie datamartów tematycznych • Współpraca z zespołami projektowymi przy projektowaniu architektury danych • Wsparcie testów oraz wdrożeń zmian w procesach zasilania danych • Rozwiązywanie incydentów i wsparcie utrzymania wdrożonych systemów • Praca w modelu DevSecOps Wymagania Wymagania (must-have) • Doświadczenie w projektowaniu i budowie rozwiązań Data Lake • Doświadczenie w programowaniu w Python i/lub Rust • Znajomość architektury event-driven (Kafka, Pub/Sub) • Bardzo dobra znajomość GCP BigQuery (projektowanie, budowa i tuning baz danych) • Znajomość relacyjnych baz danych Oracle oraz PostgreSQL • Znajomość systemu operacyjnego Linux na poziomie zaawansowanego użytkownika Mile widziane • Doświadczenie w projektach Big Data wykorzystujących GenAI (np. przetwarzanie danych niestrukturalnych – audio, dokumenty, obrazy) • AutomateNow • Apache Airflow • Apache Spark (preferowane GCP Dataproc) • Apache Beam (preferowane GCP DataFlow) • Informatica PowerCenter Ta rola nie jest dla Ciebie, ale masz znajomego, który by się sprawdził? Poleć go i zgarnij nawet 5000 zł. Referral Program: Talent from your network