Data Engineer – Google Cloud
⚲ Warszawa
Do uzgodnienia
Wymagania
- BigQuery
- SQL
- ETL/ELT
Opis stanowiska
Nasze wymagania:
praktycznego doświadczenia w budowie, utrzymaniu i optymalizacji data pipelines w Google Cloud,
bardzo dobrej znajomości BigQuery,
bardzo dobrej znajomości SQL,
praktycznego doświadczenia z Python w obszarze Data Engineering,
znajomości procesów i narzędzi ETL/ELT,
doświadczenia z narzędziami do przetwarzania i orkiestracji danych,
doświadczenia w implementacji Data Quality, walidacji danych, monitoringu i error handlingu,
doświadczenia w integracji systemów źródłowych z hurtowniami danych i modelami analitycznymi,
doświadczenia w pracy z dużymi wolumenami danych,
znajomości dobrych praktyk związanych z budową skalowalnych i niezawodnych procesów danych.
Mile widziane:
doświadczenie z Google Cloud Dataflow,
znajomość Google Cloud Dataproc,
doświadczenie z Dataform,
znajomość dbt,
doświadczenie z Cloud Composer / Apache Airflow,
udział w projektach migracyjnych z platform legacy do Google Cloud,
doświadczenie w modernizacji istniejących procesów i architektur danych,
doświadczenie w optymalizacji wydajności i kosztów procesów działających w BigQuery / Google Cloud.
O projekcie:
Poszukujemy doświadczonego Data Engineera, który będzie odpowiedzialny za budowę, rozwój i optymalizację potoków danych oraz integrację systemów źródłowych z hurtownią danych i warstwami analitycznymi.
Istotnym elementem projektu będzie również modernizacja i migracja istniejących procesów danych z rozwiązań legacy do środowiska Google Cloud.
Zakres obowiązków:
projektowanie, budowa i rozwój potoków danych w Google Cloud,
praca z BigQuery oraz optymalizacja przetwarzania danych,
tworzenie i optymalizacja zapytań SQL,
wykorzystanie Python w procesach przetwarzania i transformacji danych,
budowa procesów ETL/ELT,
integracja systemów źródłowych z hurtownią danych, modelami analitycznymi i warstwami konsumpcyjnymi,
implementacja mechanizmów walidacji i kontroli jakości danych,
budowa monitoringu procesów oraz mechanizmów obsługi błędów,
automatyzacja kontroli poprawności przetwarzanych danych,
udział w migracji i modernizacji procesów danych z platform legacy do Google Cloud,
współpraca z zespołami odpowiedzialnymi za rozwiązania Data & Analytics.
praktycznego doświadczenia w budowie, utrzymaniu i optymalizacji data pipelines w Google Cloud,
bardzo dobrej znajomości BigQuery,
bardzo dobrej znajomości SQL,
praktycznego doświadczenia z Python w obszarze Data Engineering,
znajomości procesów i narzędzi ETL/ELT,
doświadczenia z narzędziami do przetwarzania i orkiestracji danych,
doświadczenia w implementacji Data Quality, walidacji danych, monitoringu i error handlingu,
doświadczenia w integracji systemów źródłowych z hurtowniami danych i modelami analitycznymi,
doświadczenia w pracy z dużymi wolumenami danych,
znajomości dobrych praktyk związanych z budową skalowalnych i niezawodnych procesów danych.
Mile widziane:
doświadczenie z Google Cloud Dataflow,
znajomość Google Cloud Dataproc,
doświadczenie z Dataform,
znajomość dbt,
doświadczenie z Cloud Composer / Apache Airflow,
udział w projektach migracyjnych z platform legacy do Google Cloud,
doświadczenie w modernizacji istniejących procesów i architektur danych,
doświadczenie w optymalizacji wydajności i kosztów procesów działających w BigQuery / Google Cloud.
O projekcie:
Poszukujemy doświadczonego Data Engineera, który będzie odpowiedzialny za budowę, rozwój i optymalizację potoków danych oraz integrację systemów źródłowych z hurtownią danych i warstwami analitycznymi.
Istotnym elementem projektu będzie również modernizacja i migracja istniejących procesów danych z rozwiązań legacy do środowiska Google Cloud.
Zakres obowiązków:
projektowanie, budowa i rozwój potoków danych w Google Cloud,
praca z BigQuery oraz optymalizacja przetwarzania danych,
tworzenie i optymalizacja zapytań SQL,
wykorzystanie Python w procesach przetwarzania i transformacji danych,
budowa procesów ETL/ELT,
integracja systemów źródłowych z hurtownią danych, modelami analitycznymi i warstwami konsumpcyjnymi,
implementacja mechanizmów walidacji i kontroli jakości danych,
budowa monitoringu procesów oraz mechanizmów obsługi błędów,
automatyzacja kontroli poprawności przetwarzanych danych,
udział w migracji i modernizacji procesów danych z platform legacy do Google Cloud,
współpraca z zespołami odpowiedzialnymi za rozwiązania Data & Analytics.
🔍 Dekoder Ogłoszenia
🔴
praktycznego doświadczenia w budowie, utrzymaniu i optymalizacji data pipelines w Google Cloud
Oczekuje się, że kandydat będzie samodzielnie tworzył, naprawiał i usprawniał istniejące potoki danych, a nie tylko nadzorował pracę innych.
🔴
bardzo dobrej znajomości BigQuery
Oznacza to nie tylko pisanie prostych zapytań, ale również dogłębne zrozumienie optymalizacji zapytań, partycjonowania, klastrowania i zarządzania kosztami.
🔴
praktycznego doświadczenia z Python w obszarze Data Engineering
Oczekuje się umiejętności pisania skryptów Pythona do automatyzacji zadań, przetwarzania danych i integracji, a nie tylko podstawowej znajomości języka.
🔴
udział w projektach migracyjnych z platform legacy do Google Cloud
Może oznaczać pracę z przestarzałymi technologiami i konieczność radzenia sobie z problemami związanymi z ich migracją.
🔴
doświadczenie w optymalizacji wydajności i kosztów procesów działających w BigQuery / Google Cloud
Kandydat będzie odpowiedzialny za aktywne poszukiwanie sposobów na zmniejszenie czasu wykonania zapytań i obniżenie rachunków za usługi chmurowe.