Senior Data Engineer / Senior Data Engineerka
ASTEK Polska
⚲ Warszawa
23 520 - 25 200 PLN (B2B)
Wymagania
- Scala
- Apache Spark
- Big Data
- Yarn
- Amazon EMR
- Hive
- Kafka
- Jenkins
- Jira
- Bitbucket
- Git
- SAFe (nice to have)
- Snowflake (nice to have)
- AWS (nice to have)
Opis stanowiska
O projekcie: Obecnie dla naszego klienta z branży bankowej poszukujemy kandydata/kandydatki na stanowisko Senior Data Engineer / Senior Data Engineerka. Osoba na tym stanowisku będzie pracować przy projektach realizowanych dla jednostki Financial Crime Prevention, odpowiedzialnej za przeciwdziałanie przestępczości finansowej. Rola obejmuje rozwój rozwiązań przetwarzających duże wolumeny danych w czasie zbliżonym do rzeczywistego oraz budowę pipeline’ów analitycznych wspierających produkty wykorzystywane w obszarze bezpieczeństwa finansowego. Praca odbywa się w środowisku Big Data, w ścisłej współpracy z zespołami DevOps, QA oraz Product Management, w modelu Continuous Delivery. Oferowane wynagrodzenie Wynagrodzenie: 1120 do 1200 PLN netto/dzień, w zależności od posiadanego doświadczenia i kompetencji. Co oferujemy - Długoterminowa współpraca - Szkolenia techniczne, certyfikaty i podnoszenie kwalifikacji - Mentoring Competence Center - bycie członkiem społeczności CC od pierwszego dnia pracy jest szansą na rozwijanie swoich umiejętności, uczestniczenie w różnych konferencjach oraz dzielenie się wiedzą i doświadczeniem z ludźmi, którzy na co dzień mierzą się z tymi samymi wyzwaniami - Jasna ścieżka kariery - Pakiet benefitów pracowniczych (Multisport, prywatna opieka medyczna, ubezpieczenie na życie) - Przyjazną atmosferę pracy, imprezy integracyjne i spotkania team-buildingowe System rekomendacji Znasz kogoś, kogo zainteresuje ta oferta? Skorzystaj z naszego systemu rekomendacji i zgarnij bonus do 7000 zl! Nr ref AO224730 Wymagania: Sprawdzisz się w tej roli, jeżeli: - Posiadasz minimum 5 lat doświadczenia w pracy z Scala oraz Apache Spark, - Znasz ekosystem Big Data (Hadoop stack), w tym m.in. YARN, EMR, Sqoop, Hive, - Masz doświadczenie w pracy z Kafka (na poziomie podstawowym), - Pracowałeś/aś z Impala, - Znasz narzędzia Jenkins, JIRA, Bitbucket oraz Git, - Masz doświadczenie w budowie skalowalnych rozwiązań do przetwarzania dużych zbiorów danych, - Potrafisz współpracować w środowisku zespołów cross-funkcyjnych. Mile widziane: - Dobra znajomość testów jednostkowych, - Doświadczenie w definiowaniu strategii versioningu oraz branchingu kodu, - Znajomość metodyk Agile / SAFe, - Doświadczenie w pracy z Snowflake w środowisku AWS, - Wiedza z zakresu bezpieczeństwa danych (np. szyfrowanie, anonimizacja), - Doświadczenie w pracy w globalnych, rozproszonych zespołach, - Doświadczenie w sektorze usług finansowych, - Analityczne i data-driven podejście do rozwiązywania problemów. Codzienne zadania: - Budowa rozproszonych i wysoko równoległych pipeline’ów Big Data, przetwarzających duże wolumeny danych (zarówno ustrukturyzowanych, jak i nieustrukturyzowanych) w czasie zbliżonym do rzeczywistego, - Rozwój aplikacji streamingowych integrujących dane z wielu źródeł (wewnętrznych i zewnętrznych), - Wykorzystanie Apache Spark do transformacji i wzbogacania danych korporacyjnych, - Przygotowywanie danych pod potrzeby wyszukiwania, wizualizacji oraz zaawansowanej analityki, - Rozwój pipeline’ów dostarczających przetworzone dane do produktów wykorzystywanych w obszarze Financial Crime, - Współpraca z zespołami DevOps, QA oraz Product Management w środowisku Continuous Delivery.