Data Engineer (K/M/N)
⚲ Warszawa
420 - 504 PLN netto (B2B)
Wymagania
- Google Cloud Platform (GCP)
- BigQuery
- Cloud Storage
- Cloud Dataflow
- Cloud Compose
- Datastream
- Dataplex
- Pub/Sub
- dataform
- Python
Opis stanowiska
O projekcie
Wsparcie zespołu projektowego i utrzymaniowego przy budowie, rozwoju oraz utrzymaniu platformy Customer Data Platform (CDP) opartej o architekturę Data Lakehouse w środowisku Google Cloud Platform (GCP).
Twój zakres obowiązków
• Rozwój oraz utrzymanie platformy CDP w architekturze Data Lakehouse.
• Projektowanie i rozwój procesów przetwarzania danych.
• Implementacja i optymalizacja procesów ETL/ELT.
• Budowa oraz utrzymanie pipeline'ów danych w środowisku GCP.
• Rozwój rozwiązań opartych o BigQuery.
• Współpraca z zespołami projektowymi oraz technicznymi.
• Monitorowanie i utrzymanie procesów przetwarzania danych.
• Udział w rozwoju architektury danych oraz zapewnianiu jakości danych.
Nasze wymagania
• Udział w kilku projektach budowy rozwiązań chmurowych w roli Data Engineer.
• Bardzo dobre umiejętności komunikacyjne i organizacyjne.
• Umiejętność efektywnej współpracy z zespołami IT oraz Project Managerami technicznymi.
• Znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym.
• Praktyczna znajomość Google Cloud Platform (GCP) w obszarze Data & Analytics.
• Doświadczenie z BigQuery.
• Doświadczenie z Cloud Storage.
• Doświadczenie z Cloud Dataflow (Apache Beam).
• Doświadczenie z Cloud Composer (Apache Airflow).
• Znajomość Datastream.
• Znajomość Dataplex.
• Doświadczenie z Pub/Sub.
• Doświadczenie z Dataform.
• Bardzo dobra znajomość Python.
• Znajomość bibliotek do przetwarzania danych (m.in. Pandas).
• Bardzo dobra znajomość SQL (ANSI SQL oraz BigQuery SQL).
• Znajomość MySQL.
• Znajomość PostgreSQL.
• Znajomość MS SQL Server.
• Doświadczenie z architekturą Medallion (Bronze / Silver / Gold).
• Znajomość procesów ETL/ELT.
• Znajomość zagadnień Data Governance.
• Doświadczenie w projektowaniu i implementacji mechanizmów deduplikacji danych.
• Znajomość zagadnień wersjonowania danych.
• Praktyczna znajomość Git.
• Znajomość procesów CI/CD.
• Doświadczenie z Cloud Monitoring oraz Cloud Logging.
Wsparcie zespołu projektowego i utrzymaniowego przy budowie, rozwoju oraz utrzymaniu platformy Customer Data Platform (CDP) opartej o architekturę Data Lakehouse w środowisku Google Cloud Platform (GCP).
Twój zakres obowiązków
• Rozwój oraz utrzymanie platformy CDP w architekturze Data Lakehouse.
• Projektowanie i rozwój procesów przetwarzania danych.
• Implementacja i optymalizacja procesów ETL/ELT.
• Budowa oraz utrzymanie pipeline'ów danych w środowisku GCP.
• Rozwój rozwiązań opartych o BigQuery.
• Współpraca z zespołami projektowymi oraz technicznymi.
• Monitorowanie i utrzymanie procesów przetwarzania danych.
• Udział w rozwoju architektury danych oraz zapewnianiu jakości danych.
Nasze wymagania
• Udział w kilku projektach budowy rozwiązań chmurowych w roli Data Engineer.
• Bardzo dobre umiejętności komunikacyjne i organizacyjne.
• Umiejętność efektywnej współpracy z zespołami IT oraz Project Managerami technicznymi.
• Znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym.
• Praktyczna znajomość Google Cloud Platform (GCP) w obszarze Data & Analytics.
• Doświadczenie z BigQuery.
• Doświadczenie z Cloud Storage.
• Doświadczenie z Cloud Dataflow (Apache Beam).
• Doświadczenie z Cloud Composer (Apache Airflow).
• Znajomość Datastream.
• Znajomość Dataplex.
• Doświadczenie z Pub/Sub.
• Doświadczenie z Dataform.
• Bardzo dobra znajomość Python.
• Znajomość bibliotek do przetwarzania danych (m.in. Pandas).
• Bardzo dobra znajomość SQL (ANSI SQL oraz BigQuery SQL).
• Znajomość MySQL.
• Znajomość PostgreSQL.
• Znajomość MS SQL Server.
• Doświadczenie z architekturą Medallion (Bronze / Silver / Gold).
• Znajomość procesów ETL/ELT.
• Znajomość zagadnień Data Governance.
• Doświadczenie w projektowaniu i implementacji mechanizmów deduplikacji danych.
• Znajomość zagadnień wersjonowania danych.
• Praktyczna znajomość Git.
• Znajomość procesów CI/CD.
• Doświadczenie z Cloud Monitoring oraz Cloud Logging.
🔍 Dekoder Ogłoszenia
🔴
Wsparcie zespołu projektowego i utrzymaniowego przy budowie, rozwoju oraz utrzymaniu platformy Customer Data Platform (CDP) opartej o architekturę Data Lakehouse w środowisku Google Cloud Platform (GCP).
Może oznaczać zarówno tworzenie nowych funkcjonalności, jak i głównie zajmowanie się bieżącym utrzymaniem i naprawą błędów istniejącej platformy.
🔴
Udział w kilku projektach budowy rozwiązań chmurowych w roli Data Engineer.
Może sugerować pracę nad wieloma projektami jednocześnie lub pracę nad jednym dużym projektem podzielonym na mniejsze etury.
🟡
Bardzo dobre umiejętności komunikacyjne i organizacyjne.
Oczekuje się, że będziesz potrafił jasno komunikować się z różnymi zespołami i samodzielnie zarządzać swoim czasem i zadaniami.
🟡
Umiejętność efektywnej współpracy z zespołami IT oraz Project Managerami technicznymi.
Oprócz pracy technicznej, kluczowe będzie sprawne dogadywanie się z innymi działami i osobami zarządzającymi projektami.
🟢
Udział w rozwoju architektury danych oraz zapewnianiu jakości danych.
Oprócz implementacji, będziesz miał wpływ na kształtowanie sposobu przechowywania i przetwarzania danych oraz dbanie o ich poprawność.