Data Reliability Engineer
GOLDENORE ITC sp. z o.o.
⚲ Warszawa
Wymagania
- Python
- SQL
- AWS
- GitHub
- DataHub
- Apache Atlas
- Amundsen
Opis stanowiska
Nasze wymagania: 3–5+ lat doświadczenia jako Data Engineer / Data Platform Engineer lub w pokrewnej roli Doświadczenie w budowie i utrzymaniu pipeline’ów ETL / ELT w środowiskach produkcyjnych Bardzo dobra znajomość Python (API, automatyzacje, integracje) Bardzo dobra znajomość SQL Doświadczenie z AWS Znajomość CI/CD, GitHub Doświadczenie w implementacji walidacji danych, testów danych lub mechanizmów kontroli jakości Doświadczenie w integracjach systemowych (REST API, GraphQL lub podobne) Rozumienie zagadnień Data Governance, Metadata Management, Data Lineage, Data Quality Samodzielność i dobra komunikacja w środowisku projektowym Angielski umożliwiający pracę w międzynarodowym środowisku Mile widziane: DataHub, Apache Atlas, Amundsen lub podobne narzędzia Metadata Management Great Expectations, Soda, Deequ lub podobne narzędzia Data Quality Znajomość architektury event-driven Doświadczenie w open source Background w Data Governance / Master Data Management O projekcie: Wyobraź sobie środowisko, w którym dane wspierają jedne z najpopularniejszych produktów digital — streaming, news, biznes, lifestyle i rozrywkę — a Twoja praca realnie wpływa na jakość danych wykorzystywanych przez miliony użytkowników. Dla innowacyjnej firmy z branży media & digital streaming poszukujemy Data Platform Engineer / Data Reliability Engineer, który dołączy do zespołu budującego nowoczesny ekosystem danych oparty o AWS, lakehouse, open-source i Data Governance. To rola dla osób, które chcą pracować przy zaawansowanej platformie danych, a nie jedynie utrzymywać pipeline’y. Jeśli chcesz budować nowoczesną platformę danych dla produktów używanych na dużą skalę — porozmawiajmy. Pracujemy zdalnie z onboardingiem w Warszawie. Zakres obowiązków: Implementacja, konfiguracja i rozwój platformy do zarządzania metadanymi oraz jakości danych Integracja rozwiązania z lakehouse, hurtownią danych, systemami dziedzinowymi i narzędziami analitycznymi Automatyzacja ingestu metadanych, lineage, monitoringu jakości danych i raportowania DQ Rozwój metamodelu oraz mechanizmów egzekwowania reguł jakości danych Budowa i rozwój integracji w obszarze Metadata Management oraz Data Quality Monitorowanie stabilności, wydajności i bezpieczeństwa środowiska Współpraca z zespołami Data Engineering, Data Governance i AI Tworzenie dokumentacji technicznej oraz wsparcie użytkowników platformy