Data Engineer (Databricks / PySpark / AML)

Stawka: do 155 pln/h + VAT, B2BLokalizacja: zdalnie
Branża: bankowość

Szukamy Data Engineera do rozwoju i migracji warstwy danych w obszarze AML. Kluczowym elementem roli jest budowa i rozwój rozwiązań opartych o Databricks i PySpark, integrujących dane z wielu źródeł oraz rozwój procesów ETL.
Zakres obowiązków
• Rozwój i utrzymanie rozwiązań w Databricks z wykorzystaniem PySpark.
• Projektowanie, rozwój i optymalizacja procesów ETL.
• Integracja danych z różnych źródeł (API, bazy danych, pliki, batch).
• Migracja istniejących procesów ETL do nowej architektury danych.
• Transformacja, czyszczenie i mapowanie danych.
• Tworzenie oraz optymalizacja zapytań SQL.
• Współpraca z analitykami i zespołami biznesowymi przy projektowaniu rozwiązań.
Must have
• Bardzo dobra znajomość Databricks.
• Bardzo dobra znajomość PySpark.
• Zaawansowana znajomość Python.
• Zaawansowana znajomość SQL / PL/SQL.
• Doświadczenie w projektowaniu i rozwijaniu procesów ETL.
• Doświadczenie w integracji danych z wielu źródeł (API, bazy danych, batch).

Mile widziane
• Doświadczenie w projektach związanych z AML lub Data Warehouse.
• Znajomość architektury nowoczesnych platform danych.
Kompetencje
• Umiejętność analitycznego myślenia i rozwiązywania problemów.
• Umiejętność przekładania wymagań biznesowych na rozwiązania techniczne.
• Dobra organizacja pracy i komunikacja.
• Umiejętność pracy zespołowej.
Informacje o projekcie
• Projekt: rozwój i migracja warstwy danych AML.
• Lokalizacja: zdalnie