Senior Cloud Data Engineer (GCP)

O projekcie: - Dołącz do zespołu budującego i rozwijającego platformę integracji danych opartą na Google Cloud Platform (GCP).- Rola łączy inżynierię DevOps, data engineering oraz automatyzację – z silnym naciskiem na budowę i orkiestrację potoków ETL w Apache Airflow, automatyzację wdrożeń, niezawodność platformy oraz śledzenie przepływu danych (data lineage).- Platforma wykorzystuje Apache Airflow do orkiestracji potoków ETL i umożliwia i niezawodny przepływ danych – od systemów źródłowych, przez platformę, aż do systemów docelowych partnerów.- Kluczowym obszarem jest rozwój procesów ETL, usprawnianie automatyzacji i pipeline’ów wdrożeniowych oraz wdrażanie data lineage, aby zapewnić przejrzyste, wizualne śledzenie przepływu danych od początku do końca.- Lokalizacja: Kraków, praca hybrydowa - 2 dni z biura. Wymagania: - Minimum 7 lat doświadczenia w inżynierii oprogramowania, DevOps i/lub Cloud.- Bardzo dobra znajomość i praktyczne doświadczenie z GCP, w tym BigQuery (oraz powiązanymi usługami danych).- Udokumentowane doświadczenie w budowie pipeline’ów ETL/ELT oraz ich orkiestracji przy użyciu Apache Airflow (projektowanie DAG-ów, harmonogramowanie, monitoring, skalowanie).- Bardzo dobra znajomość SQL w zakresie transformacji danych, walidacji i optymalizacji wydajności.- Doświadczenie w projektowaniu architektury oraz budowie skalowalnych i odpornych platform.- Doświadczenie z CI/CD i automatyzacją wdrożeń, najlepiej dla platform danych i środowisk Airflow.- Doświadczenie w automatyzacji testów, w tym tworzeniu frameworków/procesów testów regresyjnych i wydajnościowych.- Solidne rozumienie zagadnień zarządzania danymi (jakość danych, metadane, governance) oraz implementacji data lineage.- Znajomość narzędzi do wizualizacji danych (np. do analiz operacyjnych, wizualizacji lineage lub raportowania dla interesariuszy).- Silne umiejętności rozwiązywania problemów oraz doświadczenie w zwiększaniu niezawodności i redukcji pracy manualnej poprzez automatyzację.- Bardzo dobre umiejętności komunikacyjne (pisemne i ustne) oraz zdolność efektywnej pracy w międzyfunkcyjnych zespołach Agile.- Znajomość języka angielskiego na poziomie B2/C1.- Znajomość języka polskiego na poziomie B2. Codzienne zadania: - Projektowanie, rozwój, testowanie i utrzymanie potoków ETL. - Budowanie i rozwijanie funkcjonalności platformy. - Tworzenie skalowalnych pipeline’ów wdrożeniowych dla Apache Airflow. - Rozwój i optymalizacja transformacji oraz integracji opartych na SQL, w tym praca z GCP BigQuery. - Wdrażanie mechanizmów data lineage, umożliwiających wizualne śledzenie danych od źródła przez platformę aż do systemów dostawców. - Automatyzacja istniejących procesów operacyjnych i inżynieryjnych w celu poprawy niezawodności, szybkości i powtarzalności. - Tworzenie i utrzymanie automatyzacji testów dla platformy, w tym testów regresyjnych i wydajnościowych. - Rozwiązywanie złożonych problemów w obszarze pipeline’ów, infrastruktury i przepływów danych; analiza przyczyn źródłowych i wdrażanie działań zapobiegawczych. - Jasna komunikacja z inżynierami, interesariuszami produktowymi oraz zespołami partnerskimi w celu uzgodnienia wymagań i realizacji. - Współpraca w modelu Agile.