Data Engineer (ETL / SQL / BigQuery) (K/M)

Nasze wymagania:
Minimum 5 lat doświadczenia w roli Data Engineer lub podobnej
Praktyczne doświadczenie w projektowaniu, budowaniu i optymalizacji procesów ETL/ELT
Bardzo dobra znajomość SQL, transformacji danych i modelowania danych
Praktyczne doświadczenie z BigQuery, w tym projektowanie tabel oraz optymalizacja wydajności i kosztów zapytań
Doświadczenie w programowaniu w Pythonie lub Ruście (wystarczy jeden z tych języków)
Doświadczenie zarówno z przetwarzaniem batch, jak i streaming
Znajomość Apache Kafka lub Google Pub/Sub
Doświadczenie w pracy z Oracle lub PostgreSQL
Znajomość systemu Linux, diagnozowania błędów i monitorowania procesów przetwarzania danych

Mile widziane:
Doświadczenie z dodatkowymi usługami Google Cloud, np. Dataflow, Dataproc lub Cloud Storage
Znajomość Apache Spark lub Apache Beam
Doświadczenie w pracy z rozwiązaniami Data Lake
Znajomość Kubernetes lub Docker
Doświadczenie z Informatica PowerCenter
Znajomość AutomateNOW

O projekcie:
Projekt realizowany w sektorze bankowym obejmuje rozwój procesów zasilania hurtowni danych, środowiska Big Data oraz rozwiązań analitycznych.
Zespół projektuje i rozwija pipeline'y danych, integruje systemy lokalne i chmurowe, modeluje dane oraz tworzy datamarty.
Przetwarzane dane wykorzystywane są do analiz, raportowania, segmentacji klientów i przygotowywania spersonalizowanych ofert oraz kampanii.
Możliwość pracy z BigQuery, SQL, technologiami ETL/ELT oraz rozwiązaniami batch i streaming; wpływ na architekturę, wydajność i jakość procesów danych.

Zakres obowiązków:
Projektowanie, budowanie i rozwój pipeline'ów ETL/ELT w trybie batch i streaming
Integracja danych z baz danych, plików, API, systemów lokalnych i chmurowych oraz systemów zdarzeniowych
Projektowanie logicznych i fizycznych modeli danych oraz tworzenie datamartów
Praca z BigQuery: projektowanie tabel, optymalizacja zapytań SQL, wydajności przetwarzania i kosztów
Monitorowanie procesów, zapewnianie jakości i niezawodności danych
Diagnozowanie błędów, obsługa incydentów produkcyjnych oraz wsparcie wdrożeń
Tworzenie dokumentacji technicznej, testowanie rozwiązań i współpraca z zespołami DevSecOps

Oferujemy:
Współpraca na podstawie kontraktu B2B
Praca hybrydowa z obecnością w biurze w Warszawie przez 4 dni w miesiącu
Długoterminowy projekt, planowany na ponad 12 miesięcy
Możliwość rozwoju rozwiązań Big Data i hurtowni danych w dużej organizacji z sektora finansowego
Praca z BigQuery, ETL/ELT oraz technologiami batch i streaming
Wsparcie formalne i dokumentacyjne podczas onboardingu