Senior Data Engineer – Scala / Spark / Hadoop

Nasze wymagania:
Bardzo dobra, praktyczna znajomość Scali.
Doświadczenie komercyjne z Apache Hadoop.
Praktyczna znajomość Apache Spark i przetwarzania dużych wolumenów danych.
Doświadczenie w tworzeniu pipeline’ów Data Engineering.
Znajomość Apache Kafka oraz architektury event-driven.
Praktyczne doświadczenie z CI/CD, w szczególności Jenkins.
Bardzo dobra znajomość Git oraz procesu code review i Pull Requestów.
Umiejętność tworzenia i optymalizowania zapytań SQL.
Doświadczenie w pracy ze środowiskami produkcyjnymi.
Umiejętność samodzielnego analizowania złożonych problemów technicznych.
Komunikatywna znajomość języka angielskiego pozwalająca na pracę w międzynarodowym zespole.
Gotowość do pracy hybrydowej – 2 dni w tygodniu z biura w Warszawie lub Gdańsku.
Możliwość wykonywania pracy z terytorium Polski.

Mile widziane:
Znajomość Kubernetes.
Doświadczenie z Apache Flink.
Znajomość Apache Airflow lub Apache Oozie.
Doświadczenie w projektach regulacyjnych lub systemach raportowych.
Doświadczenie zdobyte w sektorze finansowym.

Zakres obowiązków:
Projektowanie, rozwijanie i utrzymywanie rozwiązań Data Engineering w środowisku Hadoop i Apache Spark.
Tworzenie skalowalnych procesów przetwarzania dużych zbiorów danych.
Analizowanie złożonych wymagań biznesowych i przekładanie ich na rozwiązania techniczne.
Tworzenie wydajnych zapytań SQL oraz optymalizacja procesów przetwarzania danych.
Budowanie i rozwijanie pipeline’ów danych oraz procesów raportowych.
Tworzenie i utrzymywanie workflowów przy użyciu Apache Oozie oraz Apache Airflow.
Rozwijanie rozwiązań opartych na języku Scala.
Praca z architekturą event-driven wykorzystującą Apache Kafka.
Utrzymywanie i rozwijanie procesów CI/CD z wykorzystaniem Git, Pull Requestów oraz Jenkins.
Zapewnianie wsparcia L3 dla środowisk produkcyjnych.
Analizowanie incydentów i problemów produkcyjnych we współpracy z zespołami odpowiedzialnymi za stabilność systemów.
Współpraca z interesariuszami biznesowymi przy definiowaniu wymagań i rozwiązywaniu problemów.
Dbanie o jakość, wydajność, bezpieczeństwo i niezawodność tworzonych rozwiązań.

Oferujemy:
Udział w strategicznym projekcie regulacyjnym o realnym znaczeniu dla sektora finansowego.
Pracę w zaawansowanym środowisku Big Data.
Możliwość korzystania z technologii takich jak Scala, Hadoop, Spark, Kafka, Airflow i Jenkins.
Dużą samodzielność oraz wpływ na podejmowane decyzje techniczne.
Współpracę z doświadczonym, międzynarodowym zespołem.
Stabilny i długoterminowy projekt.
Środowisko pracy stawiające na jakość, bezpieczeństwo oraz rozwój kompetencji eksperckich.
Możliwość zdobycia doświadczenia w obszarze regulacji finansowych i raportowania.