Data Engineer – Data Contracts & Quality (GCP)
SQUARE ONE RESOURCES sp. z o.o.
⚲ Warszawa
130–140 zł netto (+ VAT) / godz.
Wymagania
- Google Cloud Platform
- SQL
- Data Warehousing / Big Data
- DataContracts
- JSON Schema / OpenAPI
- dbt
- Dataform
- Knowledge Catalog (dawniej Dataplex)
- Data Catalog
- Python
Opis stanowiska
Nasze wymagania:
Doswiadczenie z GCP
Praktyczna znajomosc zagadnien dotyczacych obszaru Data Contracts (definiowane data contracts, wymagan jakosciowych) i narzedzi wspierajacych automatyzacje kontraktów (np. OpenAPI/JSON Schema, narzedzia do CI/CD, QA danych)
Doswiadczenie w analizie, przetwarzaniu i modelowaniu danych, znajomosc architektury rozwiazan Hurtowni Danych i Big Data
Znajomosc tworzenia zapytan SQL na poziomie zaawansowanym poparta praktycznym doswiadczeniem zawodowym
English Level: B1
Mile widziane:
Kilka lat praktycznego doswiadczenia w Data Engineering, Data Governance, Data Quality, analizie danych lub pokrewnych obszarach, w tym doswiadczenie w samodzielnym projektowaniu i wdrazaniu rozwiazan przekrojowych.
Doswiadczenie w projektowaniu modeli danych i budowie warstw danych
Praktyka w zapewnieniu jakosci danych (testowanie, monitorowanie, alertowanie)
Doswiadczenie w dokumentacji technicznej oraz code review
Doswiadczenie w samodzielnym prowadzeniu tematów wymagajacych wspólpracy wielu zespolów — identyfikowaniu zaleznosci, ustalaniu odpowiedzialnosci, zarzadzaniu blockerami i doprowadzaniu do decyzji.
Umiejetnosc dzialania w sytuacji niepelnych wymagan i braku jednoznacznego rozwiazania — od zdefiniowania problemu do wdrozenia rozwiazania.
Umiejetnosc pracy zespolowej i komunikacji z zespolami biznesowymi, technicznymi oraz analitycznymi.
Proaktywnosc, odpowiedzialnosc i nastawienie na jakosc w obszarze danych.
Znajomosc standardu ODCS Znajomosc ekosystemu GCP
Znajomosc zagadnien z obszaru Data Governance i Data Quality
Doswiadczenie z narzedziami zarzadzania danymi, np.: dbt, Dataform (transformacja i dokumentacja danych)
Knowledge Catalog (dawniej Dataplex)
Data Catalog (zarzadzanie ladem danych)
O projekcie:
Projekt realizowany dla dużej firmy z sektora telekomunikacyjnego, związany z rozwojem i utrzymaniem rozwiązań z obszaru Data Governance i Data Quality. Głównym celem jest wdrażanie i automatyzacja kontraktów danych (Data Contracts) w środowisku Google Cloud Platform, zapewnienie spójności schematów danych oraz automatycznej walidacji ich jakości. Współpraca obejmuje zespoły Data Engineering, BI i biznesowe.
Praca hybrydowa z Warszawy (do ustalenia z Klientem), full time, long term
Zakres obowiązków:
Implementacja, wdrazanie i utrzymywanie kontraktów danych (Data Contracts) w srodowisku GCP na podstawie uzgodnionych specyfikacji oraz przyjetej architektury i standardów.
Implementacja i aktualizacja schematów danych oraz regul walidacji w kontraktach danych zgodnie z wymaganiami jakosciowymi uzgodnionymi z wlascicielami danych i zespolami technicznymi.
Implementacja automatycznej walidacji schematów i zgodnosci danych z kontraktami oraz wspólpraca przy integracji tych mechanizmów z procesami CI/CD.
Tworzenie zapytan SQL na potrzeby analizy danych, weryfikacji wymagan jakosciowych i identyfikowania niezgodnosci z kontraktami.
Analiza, przetwarzanie i modelowanie danych na potrzeby definiowania oraz wdrazania kontraktów w rozwiazaniach hurtowni danych i Big Data.
Wspólpraca z zespolami produktowymi, Data Engineering, BI oraz wlascicielami danych przy uzgadnianiu wymagan, definiowaniu kontraktów i rozwiazywaniu wykrytych niezgodnosci.
Udzial w doborze narzedzi wspierajacych automatyzacje kontraktów oraz doskonaleniu procesów ich tworzenia, aktualizowania i utrzymywania.
Oferujemy:
full-time
long-term
Medicover
Medicover Sport
Doswiadczenie z GCP
Praktyczna znajomosc zagadnien dotyczacych obszaru Data Contracts (definiowane data contracts, wymagan jakosciowych) i narzedzi wspierajacych automatyzacje kontraktów (np. OpenAPI/JSON Schema, narzedzia do CI/CD, QA danych)
Doswiadczenie w analizie, przetwarzaniu i modelowaniu danych, znajomosc architektury rozwiazan Hurtowni Danych i Big Data
Znajomosc tworzenia zapytan SQL na poziomie zaawansowanym poparta praktycznym doswiadczeniem zawodowym
English Level: B1
Mile widziane:
Kilka lat praktycznego doswiadczenia w Data Engineering, Data Governance, Data Quality, analizie danych lub pokrewnych obszarach, w tym doswiadczenie w samodzielnym projektowaniu i wdrazaniu rozwiazan przekrojowych.
Doswiadczenie w projektowaniu modeli danych i budowie warstw danych
Praktyka w zapewnieniu jakosci danych (testowanie, monitorowanie, alertowanie)
Doswiadczenie w dokumentacji technicznej oraz code review
Doswiadczenie w samodzielnym prowadzeniu tematów wymagajacych wspólpracy wielu zespolów — identyfikowaniu zaleznosci, ustalaniu odpowiedzialnosci, zarzadzaniu blockerami i doprowadzaniu do decyzji.
Umiejetnosc dzialania w sytuacji niepelnych wymagan i braku jednoznacznego rozwiazania — od zdefiniowania problemu do wdrozenia rozwiazania.
Umiejetnosc pracy zespolowej i komunikacji z zespolami biznesowymi, technicznymi oraz analitycznymi.
Proaktywnosc, odpowiedzialnosc i nastawienie na jakosc w obszarze danych.
Znajomosc standardu ODCS Znajomosc ekosystemu GCP
Znajomosc zagadnien z obszaru Data Governance i Data Quality
Doswiadczenie z narzedziami zarzadzania danymi, np.: dbt, Dataform (transformacja i dokumentacja danych)
Knowledge Catalog (dawniej Dataplex)
Data Catalog (zarzadzanie ladem danych)
O projekcie:
Projekt realizowany dla dużej firmy z sektora telekomunikacyjnego, związany z rozwojem i utrzymaniem rozwiązań z obszaru Data Governance i Data Quality. Głównym celem jest wdrażanie i automatyzacja kontraktów danych (Data Contracts) w środowisku Google Cloud Platform, zapewnienie spójności schematów danych oraz automatycznej walidacji ich jakości. Współpraca obejmuje zespoły Data Engineering, BI i biznesowe.
Praca hybrydowa z Warszawy (do ustalenia z Klientem), full time, long term
Zakres obowiązków:
Implementacja, wdrazanie i utrzymywanie kontraktów danych (Data Contracts) w srodowisku GCP na podstawie uzgodnionych specyfikacji oraz przyjetej architektury i standardów.
Implementacja i aktualizacja schematów danych oraz regul walidacji w kontraktach danych zgodnie z wymaganiami jakosciowymi uzgodnionymi z wlascicielami danych i zespolami technicznymi.
Implementacja automatycznej walidacji schematów i zgodnosci danych z kontraktami oraz wspólpraca przy integracji tych mechanizmów z procesami CI/CD.
Tworzenie zapytan SQL na potrzeby analizy danych, weryfikacji wymagan jakosciowych i identyfikowania niezgodnosci z kontraktami.
Analiza, przetwarzanie i modelowanie danych na potrzeby definiowania oraz wdrazania kontraktów w rozwiazaniach hurtowni danych i Big Data.
Wspólpraca z zespolami produktowymi, Data Engineering, BI oraz wlascicielami danych przy uzgadnianiu wymagan, definiowaniu kontraktów i rozwiazywaniu wykrytych niezgodnosci.
Udzial w doborze narzedzi wspierajacych automatyzacje kontraktów oraz doskonaleniu procesów ich tworzenia, aktualizowania i utrzymywania.
Oferujemy:
full-time
long-term
Medicover
Medicover Sport
🔍 Dekoder Ogłoszenia
🔴
Doswiadczenie w samodzielnym prowadzeniu tematów wymagajacych wspólpracy wielu zespolów — identyfikowaniu zaleznosci, ustalaniu odpowiedzialnosci, zarzadzaniu blockerami i doprowadzaniu do decyzji.
Oczekuje się, że będziesz działać jako osoba rozwiązująca problemy między zespołami, często bez jasnego wsparcia kierownictwa.
🔴
Umiejetnosc dzialania w sytuacji niepelnych wymagan i braku jednoznacznego rozwiazania — od zdefiniowania problemu do wdrozenia rozwiazania.
Będziesz musiał samodzielnie definiować i rozwiązywać problemy, gdzie brakuje jasnych wytycznych i procesów.
🟡
Praktyczna znajomosc zagadnien dotyczacych obszaru Data Contracts (definiowane data contracts, wymagan jakosciowych) i narzedzi wspierajacych automatyzacje kontraktów (np. OpenAPI/JSON Schema, narzedzia do CI/CD, QA danych)
Chociaż wymienione są konkretne technologie, może to oznaczać, że będziesz musiał zbudować te procesy od podstaw, a nie tylko je stosować.
🟡
Proaktywnosc, odpowiedzialnosc i nastawienie na jakosc w obszarze danych.
Oczekuje się, że będziesz inicjatywny i samodzielny w dbaniu o jakość danych, często bez bezpośredniego nadzoru.
🟡
Znajomosc ekosystemu
To bardzo ogólne stwierdzenie, które może oznaczać cokolwiek, od podstawowej wiedzy po dogłębne zrozumienie, w zależności od potrzeb firmy.