Data Engineer (K/M/N)
⚲ Warszawa
100–120 zł netto (+ VAT) / godz.
Wymagania
- Google Cloud Platform (GCP)
- BigQuery
- Cloud Storage
- Cloud Dataflow
- Cloud Composer
- Datastream
- Dataplex
- Pub/Sub
- Dataform
- Python
- Pandas
- SQL
- MySQL
- PostgreSQL
- MS SQL Server
- ETL / ELT
- Git
- CI/CD
- Cloud Monitoring
- Cloud Logging
- Data Governance
- Medallion Architecture
Opis stanowiska
Nasze wymagania:
Udział w kilku projektach budowy rozwiązań chmurowych w roli Data Engineer.
Bardzo dobre umiejętności komunikacyjne i organizacyjne.
Umiejętność efektywnej współpracy z zespołami IT oraz Project Managerami technicznymi.
Znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym.
Praktyczna znajomość Google Cloud Platform (GCP) w obszarze Data & Analytics.
Doświadczenie z BigQuery.
Doświadczenie z Cloud Storage.
Doświadczenie z Cloud Dataflow (Apache Beam).
Doświadczenie z Cloud Composer (Apache Airflow).
Znajomość Datastream.
Znajomość Dataplex.
Doświadczenie z Pub/Sub.
Doświadczenie z Dataform.
Bardzo dobra znajomość Python.
Znajomość bibliotek do przetwarzania danych (m.in. Pandas).
Bardzo dobra znajomość SQL (ANSI SQL oraz BigQuery SQL).
Znajomość MySQL.
Znajomość PostgreSQL.
Znajomość MS SQL Server.
Doświadczenie z architekturą Medallion (Bronze / Silver / Gold).
Znajomość procesów ETL/ELT.
Znajomość zagadnień Data Governance.
Doświadczenie w projektowaniu i implementacji mechanizmów deduplikacji danych.
Znajomość zagadnień wersjonowania danych.
Praktyczna znajomość Git.
Znajomość procesów CI/CD.
Doświadczenie z Cloud Monitoring oraz Cloud Logging.
O projekcie:
Wsparcie zespołu projektowego i utrzymaniowego przy budowie, rozwoju oraz utrzymaniu platformy Customer Data Platform (CDP) opartej o architekturę Data Lakehouse w środowisku Google Cloud Platform (GCP).
Zakres obowiązków:
Rozwój oraz utrzymanie platformy CDP w architekturze Data Lakehouse.
Projektowanie i rozwój procesów przetwarzania danych.
Implementacja i optymalizacja procesów ETL/ELT.
Budowa oraz utrzymanie pipeline'ów danych w środowisku GCP.
Rozwój rozwiązań opartych o BigQuery.
Współpraca z zespołami projektowymi oraz technicznymi.
Monitorowanie i utrzymanie procesów przetwarzania danych.
Udział w rozwoju architektury danych oraz zapewnianiu jakości danych.
Udział w kilku projektach budowy rozwiązań chmurowych w roli Data Engineer.
Bardzo dobre umiejętności komunikacyjne i organizacyjne.
Umiejętność efektywnej współpracy z zespołami IT oraz Project Managerami technicznymi.
Znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym.
Praktyczna znajomość Google Cloud Platform (GCP) w obszarze Data & Analytics.
Doświadczenie z BigQuery.
Doświadczenie z Cloud Storage.
Doświadczenie z Cloud Dataflow (Apache Beam).
Doświadczenie z Cloud Composer (Apache Airflow).
Znajomość Datastream.
Znajomość Dataplex.
Doświadczenie z Pub/Sub.
Doświadczenie z Dataform.
Bardzo dobra znajomość Python.
Znajomość bibliotek do przetwarzania danych (m.in. Pandas).
Bardzo dobra znajomość SQL (ANSI SQL oraz BigQuery SQL).
Znajomość MySQL.
Znajomość PostgreSQL.
Znajomość MS SQL Server.
Doświadczenie z architekturą Medallion (Bronze / Silver / Gold).
Znajomość procesów ETL/ELT.
Znajomość zagadnień Data Governance.
Doświadczenie w projektowaniu i implementacji mechanizmów deduplikacji danych.
Znajomość zagadnień wersjonowania danych.
Praktyczna znajomość Git.
Znajomość procesów CI/CD.
Doświadczenie z Cloud Monitoring oraz Cloud Logging.
O projekcie:
Wsparcie zespołu projektowego i utrzymaniowego przy budowie, rozwoju oraz utrzymaniu platformy Customer Data Platform (CDP) opartej o architekturę Data Lakehouse w środowisku Google Cloud Platform (GCP).
Zakres obowiązków:
Rozwój oraz utrzymanie platformy CDP w architekturze Data Lakehouse.
Projektowanie i rozwój procesów przetwarzania danych.
Implementacja i optymalizacja procesów ETL/ELT.
Budowa oraz utrzymanie pipeline'ów danych w środowisku GCP.
Rozwój rozwiązań opartych o BigQuery.
Współpraca z zespołami projektowymi oraz technicznymi.
Monitorowanie i utrzymanie procesów przetwarzania danych.
Udział w rozwoju architektury danych oraz zapewnianiu jakości danych.
🔍 Dekoder Ogłoszenia
🔴
Udział w kilku projektach budowy rozwiązań chmurowych w roli Data Engineer.
Może oznaczać zarówno pracę nad kilkoma równoległymi, małymi projektami, jak i udział w jednym dużym projekcie podzielonym na etapy.
🔴
Bardzo dobre umiejętności komunikacyjne i organizacyjne.
Oczekuje się, że będziesz potrafił jasno przekazywać informacje i samodzielnie zarządzać swoim czasem oraz zadaniami, często bez szczegółowego nadzoru.
🔴
Umiejętność efektywnej współpracy z zespołami IT oraz Project Managerami technicznymi.
Przygotuj się na częste interakcje i potencjalne konflikty interesów lub priorytetów między różnymi grupami.
🟡
Znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym.
Oprócz podstawowej komunikacji, może być wymagane aktywne uczestnictwo w spotkaniach, czytanie dokumentacji technicznej i pisanie e-maili w języku angielskim.
🔴
Rozwój oraz utrzymanie platformy CDP w architekturze D
Fragment jest niekompletny, ale sugeruje, że oprócz tworzenia nowych funkcjonalności, duża część pracy będzie polegała na bieżącym naprawianiu błędów i zapewnianiu stabilności istniejącego rozwiązania.