Data Engineer - GCP / BigQuery (K/M)
⚲ Warszawa
22 680 - 25 200 PLN netto (B2B)
Wymagania
- Python
- Rust
- SQL
- BigQuery
- Kafka
- Pub/Sub
- ETL
Opis stanowiska
Obecnie dla naszego Klienta z branży bankowej poszukujemy Data Engineer'a - osoby z solidnymi podstawami inżynierii danych, która potrafi projektować i rozwijać niezawodne procesy ETL/ELT, dobrze zna SQL i chce rozwijać się w obszarze rozwiązań chmurowych.
Projekt: Dołączysz do zespołu rozwijającego nowoczesne rozwiązania z obszaru inżynierii danych. Będziesz pracować nad procesami zasilania hurtowni danych, środowisk Big Data, platformy Google Cloud oraz systemów kampanijnych.
Czas trwania projektu: długoterminowy (12 mc+)
Stack Technologiczny: BigQuery, Data Lake, Dataflow, Python/Rust, GCP, Dataproc, Apache Spark, Apache Beam, Informatica PowerCenter, Kubernetes, Docker, CI/CD, AutomateNOW
Zespół: kilkuosobowy
Tryb współpracy: hybryda (1x na 2 tygodnie w biurze, Warszawa - centrum)
Wynagrodzenie: 135 - 150 PLN/h + VAT
Model współpracy: outsourcing (kontrakt z Neontri)Czego oczekujemy?
• Doświadczenia w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów przetwarzania danych.
• Dobrej znajomości SQL, w tym optymalizacji zapytań i pracy z dużymi wolumenami danych.
• Praktycznej znajomości BigQuery — projektowania struktur danych, partycjonowania, klastrowania oraz optymalizacji wydajności i kosztów zapytań.
• Doświadczenia programistycznego w Pythonie i/lub Rust.
• Znajomości przetwarzania danych w trybie batch oraz streaming.
• Znajomości architektury sterowanej zdarzeniami i technologii takich jak Kafka lub Pub/Sub.
• Doświadczenia w projektowaniu logicznych i fizycznych modeli danych.
• Znajomości relacyjnych baz danych, np. Oracle lub PostgreSQL.
Twoje zadania:
• Projektowanie, budowa i rozwój pipeline’ów ETL/ELT przetwarzających dane w trybie batch i streaming.
• Tworzenie procesów zasilających BigQuery, hurtownie danych, Data Lake oraz platformy kampanijne.
• Integracja danych z różnych źródeł: systemów on-premise, chmury GCP, baz danych, plików, API i systemów zdarzeniowych.
• Projektowanie logicznych i fizycznych modeli danych oraz przygotowywanie tematycznych datamartów.
• Tworzenie i optymalizacja zapytań SQL w relacyjnych i kolumnowych bazach danych.
• Programowanie procesów przetwarzania i ładowania danych z wykorzystaniem Pythona i/lub Rusta.
• Budowanie przepływów zdarzeniowych z wykorzystaniem technologii takich jak Kafka lub Pub/Sub.
• Dbanie o jakość, kompletność, spójność i terminowość dostarczanych danych.
• Optymalizacja wydajności procesów oraz kosztów przetwarzania danych w środowisku Google Cloud.
Proces rekrutacyjny:
Składa się z 2 etapów:
• Krótka (około 20 minutowa) rozmowa online z naszym działem HR,
• Online Tech talk z Klientem (około 1 godziny). Podczas rozmowy pojawią się pytania o doświadczenie oraz sprawdzające wiedzę techniczną.
Chcesz poznać więcej szczegółów? Aplikuj 😊
Do usłyszenia!
Projekt: Dołączysz do zespołu rozwijającego nowoczesne rozwiązania z obszaru inżynierii danych. Będziesz pracować nad procesami zasilania hurtowni danych, środowisk Big Data, platformy Google Cloud oraz systemów kampanijnych.
Czas trwania projektu: długoterminowy (12 mc+)
Stack Technologiczny: BigQuery, Data Lake, Dataflow, Python/Rust, GCP, Dataproc, Apache Spark, Apache Beam, Informatica PowerCenter, Kubernetes, Docker, CI/CD, AutomateNOW
Zespół: kilkuosobowy
Tryb współpracy: hybryda (1x na 2 tygodnie w biurze, Warszawa - centrum)
Wynagrodzenie: 135 - 150 PLN/h + VAT
Model współpracy: outsourcing (kontrakt z Neontri)Czego oczekujemy?
• Doświadczenia w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów przetwarzania danych.
• Dobrej znajomości SQL, w tym optymalizacji zapytań i pracy z dużymi wolumenami danych.
• Praktycznej znajomości BigQuery — projektowania struktur danych, partycjonowania, klastrowania oraz optymalizacji wydajności i kosztów zapytań.
• Doświadczenia programistycznego w Pythonie i/lub Rust.
• Znajomości przetwarzania danych w trybie batch oraz streaming.
• Znajomości architektury sterowanej zdarzeniami i technologii takich jak Kafka lub Pub/Sub.
• Doświadczenia w projektowaniu logicznych i fizycznych modeli danych.
• Znajomości relacyjnych baz danych, np. Oracle lub PostgreSQL.
Twoje zadania:
• Projektowanie, budowa i rozwój pipeline’ów ETL/ELT przetwarzających dane w trybie batch i streaming.
• Tworzenie procesów zasilających BigQuery, hurtownie danych, Data Lake oraz platformy kampanijne.
• Integracja danych z różnych źródeł: systemów on-premise, chmury GCP, baz danych, plików, API i systemów zdarzeniowych.
• Projektowanie logicznych i fizycznych modeli danych oraz przygotowywanie tematycznych datamartów.
• Tworzenie i optymalizacja zapytań SQL w relacyjnych i kolumnowych bazach danych.
• Programowanie procesów przetwarzania i ładowania danych z wykorzystaniem Pythona i/lub Rusta.
• Budowanie przepływów zdarzeniowych z wykorzystaniem technologii takich jak Kafka lub Pub/Sub.
• Dbanie o jakość, kompletność, spójność i terminowość dostarczanych danych.
• Optymalizacja wydajności procesów oraz kosztów przetwarzania danych w środowisku Google Cloud.
Proces rekrutacyjny:
Składa się z 2 etapów:
• Krótka (około 20 minutowa) rozmowa online z naszym działem HR,
• Online Tech talk z Klientem (około 1 godziny). Podczas rozmowy pojawią się pytania o doświadczenie oraz sprawdzające wiedzę techniczną.
Chcesz poznać więcej szczegółów? Aplikuj 😊
Do usłyszenia!
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.