Senior Data Engineer

Nasze wymagania: Scala Spark Big Data Ecosystem (Hadoop stack: YARN, EMR, Sqoop, Hive, etc.) Kafka – podstawowy exp Impala Mile widziane: AWS Snowflake O projekcie: Projekt realizowany jest w obszarze Group Financial Crime Prevention i skupia się na budowie nowoczesnej platformy danych wspierającej wykrywanie przestępstw finansowych. Zespół odpowiada za rozwój pipeline’ów Big Data oraz aplikacji streamingowych, które integrują dane z wielu źródeł – zarówno wewnętrznych systemów, jak i zewnętrznych dostawców danych. Zakres obowiązków: Projektowanie i rozwój rozproszonych pipeline’ów Big Data przetwarzających duże wolumeny danych (structured & unstructured). Tworzenie aplikacji streamingowych integrujących dane z wielu źródeł. Wykorzystanie Apache Spark i Scala do transformacji, wzbogacania i przetwarzania danych. Budowa pipeline’ów danych wykorzystywanych w analityce, wizualizacji danych oraz systemach AML. Integracja systemów opartych o Kafka i Hadoop ecosystem. Współpraca z zespołami DevOps w zakresie CI/CD oraz deploymentu pipeline’ów danych. Udział w procesie Continuous Delivery oraz pracy w metodykach Agile. Zapewnienie wysokiej jakości kodu oraz skalowalności rozwiązań.