Data Platform Engineer
GOLDENORE ITC sp. z o.o.
⚲ Warszawa
Wymagania
- Python
- SQL
- AWS
- GitHub
- GraphQL
- DataHub
- Apache Atlas
- Amundsen
- Great Expectations
- Soda
- Deequ
Opis stanowiska
Nasze wymagania: Min. 3–5 lat doświadczenia jako Data Engineer / Data Platform Engineer lub podobnie Doświadczenie w budowie i utrzymaniu pipeline’ów danych (ETL/ELT) w środowisku produkcyjnym Bardzo dobra znajomość Python (API, automatyzacja, integracje) Bardzo dobra znajomość SQL Doświadczenie w pracy z AWS Znajomość CI/CD oraz GitHub Doświadczenie w implementacji mechanizmów jakości danych (walidacje, testy danych, monitoring) Znajomość integracji systemowych (REST API, GraphQL lub podobne) Rozumienie obszarów: Data Governance, Metadata Management, Data Lineage, Data Quality Samodzielność i dobra organizacja pracy Angielski min. B2 Mile widziane: Doświadczenie z narzędziami Data Catalog / Metadata Management (np. DataHub, Apache Atlas, Amundsen) Znajomość narzędzi Data Quality (np. Great Expectations, Soda, Deequ) Doświadczenie z architekturą event-driven Udział w projektach open-source Doświadczenie w środowisku z procesami Data Governance lub Master Data Management O projekcie: Dołącz do zespołu, który rozwija i utrzymuje nowoczesne rozwiązania analityczne dla serwisów digital w branży medialnej. Pracujemy nad budową skalowalnego ekosystemu danych w oparciu o technologie cloud-native (AWS) i podejście data-driven.Szukamy osoby, która będzie odpowiadać za rozwój i utrzymanie platformy do zarządzania metadanymi oraz jakością danych – łącząc kompetencje inżynierskie z obszarem Data Governance. Tryb pracy: zdalny + onboarding w Warszawie Zakres obowiązków: Implementacja, konfiguracja i utrzymanie platformy do zarządzania metadanymi oraz środowiska Data Quality Integracja platformy z lakehouse, hurtownią danych oraz systemami źródłowymi i narzędziami analitycznymi Automatyzacja procesów ingestu metadanych, data lineage, monitoringu jakości danych oraz raportowania DQ Tworzenie i utrzymanie metamodelu oraz mechanizmów egzekwowania reguł jakości danych Rozwój integracji pomiędzy narzędziami Data Quality i Metadata Management Monitorowanie stabilności, wydajności i bezpieczeństwa środowiska Współpraca z zespołami Data Engineering, Data Governance oraz biznesem przy wdrażaniu standardów i rozwiązań Tworzenie dokumentacji technicznej oraz wsparcie użytkowników