Data Engineer Senior (he/she)

Twój zakres obowiązków • Tworzenie i zarządzanie infrastrukturą danych, w tym bazami danych oraz systemami przetwarzania danych. • Projektowanie i wdrażanie rozwiązań ETL (Extract, Transform, Load) do przetwarzania i migracji danych. • Analizowanie i interpretowanie danych za pomocą narzędzi i technologii takich jak SQL, Python lub R. • Praca z zespołem analityków i programistów w celu zrozumienia wymagań dotyczących danych i ich architektury. • Opracowywanie dokumentacji dotyczącej procesów przetwarzania danych oraz architektury systemów. • Monitorowanie i optymalizacja wydajności systemów przetwarzania danych oraz baz danych. • Implementacja i utrzymywanie systemów zarządzania danymi oraz polityk dotyczących bezpieczeństwa i prywatności danych. • Wdrażanie narzędzi i technologii do analizy i wizualizacji danych, takich jak Tableau czy Power BI. • Udział w projektach dotyczących analizy danych i wykorzystywanie uczenia maszynowego w celu generowania wartości biznesowej. • Utrzymywanie bieżącej wiedzy na temat nowych technologii oraz narzędzi w dziedzinie inżynierii danych i big data. Nasze wymagania • doświadczenie w budowaniu i projektowaniu rozwiązań Data Lake, • doświadczenie w programowaniu w językach programowania typu: Python i/lub Rust, • znajomość technologii wykorzystywanych w ramach architektury sterowanej zdarzeniami takie jak np. Kafka, Pub/Sub • dobra znajomość baz danych GCP: GCP Big Query (projektowanie, budowa i tuning baz danych), • znajomość Oracle, PostgreSQL (projektowanie, budowa i tuning baz danych), • znajomość systemu operacyjnego Linux na poziomie zaawansowanego użytkownika Mile widziane • aspektów związanych z budową rozwiązań BigData wykorzystujących możliwości GenAI (przetwarzania danych niestrukturyzowanych takie jak transkrypcje audio, konwersje dokumentów tekstowych, obrazów itp.) • Automate Now, • AirFlow • Apache Spark - najlepiej GCP Data Proc • Apache Beam – najlepiej GCP DataFlow • Informatica Power Center