Big Data Engineer

Nasze wymagania: Min. 2 lata doświadczenia w pracy z Apache Spark (Python lub Scala) Znajomość koncepcji Big Data, Hurtowni Danych oraz Data Management Doświadczenie z platformami Hadoop (Cloudera / Hortonworks) Bardzo dobra znajomość SQL Doświadczenie w pracy z różnymi formatami danych: JSON, Parquet, ORC, Avro Znajomość systemów baz danych i ich zastosowań (np. Hive, Kudu, HBase, Iceberg) Doświadczenie w integracji danych z różnych źródeł Znajomość dobrych praktyk inżynieryjnych (testowanie, dokumentacja, modelowanie danych) Znajomość narzędzi buildowych (np. Maven) Mile widziane: Doświadczenie w pracy w metodykach Agile (Scrum, Kanban) oraz narzędziach typu Jira, Confluence Znajomość Kafka, Apache NiFi lub innych technologii streamingowych Znajomość platformy Kubeflow Doświadczenie w automatyzacji CI/CD Doświadczenie w środowiskach chmurowych (GCP, Azure) O projekcie: Dołącz do zespołu z branży bankowej, który rozwija nowoczesne rozwiązania w obszarze Big Data, analityki i AI. Pracujemy nad projektami biznesowymi oraz R&D, wykorzystując technologie przetwarzania danych w czasie rzeczywistym oraz wspierając wdrożenia rozwiązań Machine Learning. Jako część zespołu będziesz mieć realny wpływ na rozwój platformy danych oraz optymalizację procesów przetwarzania i raportowania w organizacji. Tryb pracy: hybrydowy – 2 spotkania w miesiącu w Warszawie Zakres obowiązków: Projektowanie i rozwój rozwiązań w obszarze Big Data i przetwarzania danych (batch oraz streaming) Implementacja pipeline’ów danych z wykorzystaniem technologii takich jak Spark, Hadoop czy Kafka Integracja danych z wielu źródeł oraz ich przetwarzanie na potrzeby analityki i raportowania Współpraca z zespołami Data Science przy wdrażaniu rozwiązań ML/AI Wsparcie architektoniczne i wdrożeniowe dla innych zespołów projektowych Dbanie o jakość kodu, standardy oraz optymalizację przetwarzania danych Udział w pracach zespołu Agile (Scrum) – planowanie, review, retrospektywy