Senior Data Engineer (Big Data Engineering)

Poszukujemy Senior Data Engineera do projektu w obszarze Group Financial Crime Prevention, gdzie będziesz współtworzyć nowoczesną platformę danych do wykrywania przestępstw finansowych. O projekcie Projekt skupia się na budowie i rozwoju pipeline’ów Big Data oraz aplikacji streamingowych integrujących dane z różnych źródeł, w tym systemów wewnętrznych oraz zewnętrznych dostawców danych. Obowiązki • Projektowanie i rozwój rozproszonych pipeline’ów Big Data do przetwarzania dużych wolumenów danych (structured & unstructured) • Tworzenie aplikacji streamingowych integrujących dane z wielu źródeł • Wykorzystanie Apache Spark i Scala do transformacji, wzbogacania i przetwarzania danych • Budowa pipeline’ów danych dla analityki, wizualizacji oraz systemów AML • Integracja systemów opartych na Kafka i Hadoop ecosystem • Współpraca z zespołami DevOps w zakresie CI/CD i deploymentu pipeline’ów danych • Praca w metodykach Agile i Continuous Delivery • Zapewnienie wysokiej jakości kodu oraz skalowalności rozwiązań Wymagania (MUST-HAVE) • Scala • Spark • Big Data Ecosystem (Hadoop stack: YARN, EMR, Sqoop, Hive, etc.) • Podstawowa znajomość Kafka • Impala Wymagania (NICE TO HAVE) • AWS • Snowflake Oferujemy • Kontrakt B2B • Pracę w trybie hybrydowym (minimum 3 dni w tygodniu w biurze w Warszawie, Gdyni lub Gdańsku) • Stabilną pracę w międzynarodowym banku w obszarze Financial Crime / AML • Realny wpływ na bezpieczeństwo systemu finansowego • Pracę z dużymi wolumenami danych i nowoczesnym stackiem Big Data