Data Engineer

Data rozpoczęcia: ASAPZaangażowanie: Długoterminowe Forma współpracy: B2B, pełny etat Godziny pracy: Standardowe godziny biznesowe Nasz klient jest jednym z wiodących operatorów telekomunikacyjnych w Polsce, oferującym usługi mobilne, dostęp do internetu oraz nowoczesne rozwiązania cyfrowe. Firma należy do międzynarodowej grupy i konsekwentnie inwestuje w innowacje, transformację cyfrową oraz rozwój technologiczny, aby utrzymać silną pozycję rynkową. Projekt obejmuje migrację hurtowni danych z Oracle do środowiska Google Cloud Platform (GCP). Głównym celem jest budowa nowoczesnej architektury danych w chmurze przy jednoczesnym zapewnieniu wysokiej jakości danych, skalowalności oraz bezpieczeństwa. Wymagania: • Komercyjne doświadczenie w pracy z GCP, • Minimum 3 lata doświadczenia jako Data Analyst, Data Quality Analyst lub w podobnej roli w organizacji opartej na danych, • Doświadczenie w obszarze Data Quality oraz Data Governance, • Bardzo dobra znajomość SQL i PL/SQL, • Bardzo dobra znajomość Pythona, • Doświadczenie w pracy z systemami Linux oraz pisaniu skryptów Bash, • Znajomość ekosystemu Cloudera Hadoop (Apache Spark, Apache Kafka), • Znajomość procesów ETL oraz przetwarzania danych w czasie rzeczywistym. Zakres obowiązków: • Budowa i utrzymanie procesów ingestii danych do Data Lake z wielu źródeł, • Projektowanie, rozwijanie i optymalizacja złożonych pipeline’ów danych (batch oraz real-time), • Tworzenie i rozwijanie frameworków wspierających budowę i utrzymanie pipeline’ów danych, • Implementacja kompleksowych testów dla procesów przetwarzania danych, • Współpraca z analitykami i data scientistami w celu zapewnienia wysokiej jakości danych, • Zapewnienie standardów Data Governance, bezpieczeństwa oraz zgodności regulacyjnej, • Ocena i wdrażanie nowych technologii w celu poprawy wydajności i stabilności, • Integracja danych z systemów takich jak Kafka, MQ, SFTP, bazy danych, API oraz systemy plikowe Mile widziane: • Doświadczenie z CI/CD i narzędziami do automatyzacji, • Znajomość Scali, • Doświadczenie w zarządzaniu metadanymi oraz frameworkach jakości danych, • Doświadczenie w pracy z różnymi źródłami danych (Kafka, MQ, SFTP, bazy danych, API, udziały plikowe), • Udział w projektach międzynarodowych, • Umiejętność tłumaczenia zagadnień technicznych na język biznesowy, • Samodzielność, dbałość o szczegóły oraz proaktywne podejście, • Znajomość języka angielskiego na poziomie min. B2