Data Engineer – Data Contracts & Quality (GCP)
⚲ Warsaw
21 840 - 23 520 PLN (B2B)
Wymagania
- GCP
- SQL
- CI/CD
- Data Warehousing / Big Data
- DataContracts
- JSON Schema / OpenAPI
- dbt (nice to have)
- Dataform (nice to have)
- Knowledge Catalog (dawniej Dataplex) (nice to have)
- Data Catalog (nice to have)
- Python (nice to have)
Opis stanowiska
O projekcie:
- Projekt realizowany dla dużej firmy z sektora telekomunikacyjnego, związany z rozwojem i utrzymaniem rozwiązań z obszaru Data Governance i Data Quality. Głównym celem jest wdrażanie i automatyzacja kontraktów danych (Data Contracts) w środowisku Google Cloud Platform, zapewnienie spójności schematów danych oraz automatycznej walidacji ich jakości. Współpraca obejmuje zespoły Data Engineering, BI i biznesowe.- Praca hybrydowa z Warszawy (do ustalenia z Klientem), full time, long term
Wymagania:
- Doswiadczenie z GCP- Praktyczna znajomosc zagadnien dotyczacych obszaru Data Contracts (definiowane data contracts, wymagan jakosciowych) i narzedzi wspierajacych automatyzacje kontraktów (np. OpenAPI/JSON Schema, narzedzia do CI/CD, QA danych)- Doswiadczenie w analizie, przetwarzaniu i modelowaniu danych, znajomosc architektury rozwiazan Hurtowni Danych i Big Data- Znajomosc tworzenia zapytan SQL na poziomie zaawansowanym poparta praktycznym doswiadczeniem zawodowym- English Level: B1
Codzienne zadania:
- Implementacja, wdrazanie i utrzymywanie kontraktów danych (Data Contracts) w srodowisku GCP na podstawie uzgodnionych specyfikacji oraz przyjetej architektury i standardów.
- Implementacja i aktualizacja schematów danych oraz regul walidacji w kontraktach danych zgodnie z wymaganiami jakosciowymi uzgodnionymi z wlascicielami danych i zespolami technicznymi.
- Implementacja automatycznej walidacji schematów i zgodnosci danych z kontraktami oraz wspólpraca przy integracji tych mechanizmów z procesami CI/CD.
- Tworzenie zapytan SQL na potrzeby analizy danych, weryfikacji wymagan jakosciowych i identyfikowania niezgodnosci z kontraktami.
- Analiza, przetwarzanie i modelowanie danych na potrzeby definiowania oraz wdrazania kontraktów w rozwiazaniach hurtowni danych i Big Data.
- Wspólpraca z zespolami produktowymi, Data Engineering, BI oraz wlascicielami danych przy uzgadnianiu wymagan, definiowaniu kontraktów i rozwiazywaniu wykrytych niezgodnosci.
- Udzial w doborze narzedzi wspierajacych automatyzacje kontraktów oraz doskonaleniu procesów ich tworzenia, aktualizowania i utrzymywania.
- Projekt realizowany dla dużej firmy z sektora telekomunikacyjnego, związany z rozwojem i utrzymaniem rozwiązań z obszaru Data Governance i Data Quality. Głównym celem jest wdrażanie i automatyzacja kontraktów danych (Data Contracts) w środowisku Google Cloud Platform, zapewnienie spójności schematów danych oraz automatycznej walidacji ich jakości. Współpraca obejmuje zespoły Data Engineering, BI i biznesowe.- Praca hybrydowa z Warszawy (do ustalenia z Klientem), full time, long term
Wymagania:
- Doswiadczenie z GCP- Praktyczna znajomosc zagadnien dotyczacych obszaru Data Contracts (definiowane data contracts, wymagan jakosciowych) i narzedzi wspierajacych automatyzacje kontraktów (np. OpenAPI/JSON Schema, narzedzia do CI/CD, QA danych)- Doswiadczenie w analizie, przetwarzaniu i modelowaniu danych, znajomosc architektury rozwiazan Hurtowni Danych i Big Data- Znajomosc tworzenia zapytan SQL na poziomie zaawansowanym poparta praktycznym doswiadczeniem zawodowym- English Level: B1
Codzienne zadania:
- Implementacja, wdrazanie i utrzymywanie kontraktów danych (Data Contracts) w srodowisku GCP na podstawie uzgodnionych specyfikacji oraz przyjetej architektury i standardów.
- Implementacja i aktualizacja schematów danych oraz regul walidacji w kontraktach danych zgodnie z wymaganiami jakosciowymi uzgodnionymi z wlascicielami danych i zespolami technicznymi.
- Implementacja automatycznej walidacji schematów i zgodnosci danych z kontraktami oraz wspólpraca przy integracji tych mechanizmów z procesami CI/CD.
- Tworzenie zapytan SQL na potrzeby analizy danych, weryfikacji wymagan jakosciowych i identyfikowania niezgodnosci z kontraktami.
- Analiza, przetwarzanie i modelowanie danych na potrzeby definiowania oraz wdrazania kontraktów w rozwiazaniach hurtowni danych i Big Data.
- Wspólpraca z zespolami produktowymi, Data Engineering, BI oraz wlascicielami danych przy uzgadnianiu wymagan, definiowaniu kontraktów i rozwiazywaniu wykrytych niezgodnosci.
- Udzial w doborze narzedzi wspierajacych automatyzacje kontraktów oraz doskonaleniu procesów ich tworzenia, aktualizowania i utrzymywania.
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.