Senior Cloud Data Engineer (GCP)

O projekcie • Dołącz do zespołu budującego i rozwijającego platformę integracji danych opartą na Google Cloud Platform (GCP). • Rola łączy inżynierię DevOps, data engineering oraz automatyzację – z silnym naciskiem na budowę i orkiestrację potoków ETL w Apache Airflow, automatyzację wdrożeń, niezawodność platformy oraz śledzenie przepływu danych (data lineage). • Platforma wykorzystuje Apache Airflow do orkiestracji potoków ETL i umożliwia i niezawodny przepływ danych – od systemów źródłowych, przez platformę, aż do systemów docelowych partnerów. • Kluczowym obszarem jest rozwój procesów ETL, usprawnianie automatyzacji i pipeline’ów wdrożeniowych oraz wdrażanie data lineage, aby zapewnić przejrzyste, wizualne śledzenie przepływu danych od początku do końca. • Lokalizacja: Kraków, praca hybrydowa - 2 dni z biura. Twoje zadania • Projektowanie, rozwój, testowanie i utrzymanie potoków ETL. • Budowanie i rozwijanie funkcjonalności platformy. • Tworzenie skalowalnych pipeline’ów wdrożeniowych dla Apache Airflow. • Rozwój i optymalizacja transformacji oraz integracji opartych na SQL, w tym praca z GCP BigQuery. • Wdrażanie mechanizmów data lineage, umożliwiających wizualne śledzenie danych od źródła przez platformę aż do systemów dostawców. • Automatyzacja istniejących procesów operacyjnych i inżynieryjnych w celu poprawy niezawodności, szybkości i powtarzalności. • Tworzenie i utrzymanie automatyzacji testów dla platformy, w tym testów regresyjnych i wydajnościowych. • Rozwiązywanie złożonych problemów w obszarze pipeline’ów, infrastruktury i przepływów danych; analiza przyczyn źródłowych i wdrażanie działań zapobiegawczych. • Jasna komunikacja z inżynierami, interesariuszami produktowymi oraz zespołami partnerskimi w celu uzgodnienia wymagań i realizacji. • Współpraca w modelu Agile. Wymagania • Minimum 7 lat doświadczenia w inżynierii oprogramowania, DevOps i/lub Cloud. • Bardzo dobra znajomość i praktyczne doświadczenie z GCP, w tym BigQuery (oraz powiązanymi usługami danych). • Udokumentowane doświadczenie w budowie pipeline’ów ETL/ELT oraz ich orkiestracji przy użyciu Apache Airflow (projektowanie DAG-ów, harmonogramowanie, monitoring, skalowanie). • Bardzo dobra znajomość SQL w zakresie transformacji danych, walidacji i optymalizacji wydajności. • Doświadczenie w projektowaniu architektury oraz budowie skalowalnych i odpornych platform. • Doświadczenie z CI/CD i automatyzacją wdrożeń, najlepiej dla platform danych i środowisk Airflow. • Doświadczenie w automatyzacji testów, w tym tworzeniu frameworków/procesów testów regresyjnych i wydajnościowych. • Solidne rozumienie zagadnień zarządzania danymi (jakość danych, metadane, governance) oraz implementacji data lineage. • Znajomość narzędzi do wizualizacji danych (np. do analiz operacyjnych, wizualizacji lineage lub raportowania dla interesariuszy). • Silne umiejętności rozwiązywania problemów oraz doświadczenie w zwiększaniu niezawodności i redukcji pracy manualnej poprzez automatyzację. • Bardzo dobre umiejętności komunikacyjne (pisemne i ustne) oraz zdolność efektywnej pracy w międzyfunkcyjnych zespołach Agile. • Znajomość języka angielskiego na poziomie B2/C1. • Znajomość języka polskiego na poziomie B2.