JustJoin.IT
Hybrydowo
Senior
New
Data Engineer
⚲ Gdańsk
18 480 - 22 680 PLN netto (B2B)
Wymagania
- Python
- SQL
- Airflow
- ETL
- Snowflake
Opis stanowiska
Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.
✅ Dołącz do projektu realizowanego dla międzynarodowej organizacji z sektora bankowego, w którym będziesz odpowiadać za modernizację platformy danych i migrację ponad 100 istniejących pipeline’ów ETL z różnych systemów źródłowych do nowoczesnej architektury opartej na Apache Airflow i Kubernetes. Będziesz projektować i rozwijać niezawodne procesy integracji danych, wspierać onboarding nowych źródeł danych finansowych oraz rozwijać rozwiązania transformacyjne w Snowflake, wykorzystując Python i SQL. Rola obejmuje również współpracę z zespołami biznesowymi i technicznymi oraz wpływ na dalszy rozwój architektury platformy danych.
✅Technologie i narzędzia: Python, Apache Airflow, SQL, Snowflake, Git, Kubernetes.
Szukamy Ciebie, jeśli:
• masz minimum 5 lat doświadczenia w obszarze Data Engineering i bardzo dobrze znasz Python oraz SQL,
• masz praktyczne doświadczenie w pracy z Apache Airflow lub podobnymi narzędziami do orkiestracji procesów danych,
• masz doświadczenie w projektowaniu, rozwijaniu i utrzymywaniu pipeline’ów ETL oraz procesów integracji danych,
• znasz Snowflake lub inną dużą chmurową hurtownię danych,
• rozumiesz podstawy modelowania danych, w tym modelowanie wymiarowe, partycjonowanie i strategie przyrostowego ładowania danych,
• masz doświadczenie w pracy z Git i standardowymi procesami kontroli wersji,
• potrafisz efektywnie współpracować z wieloma zespołami i interesariuszami w złożonym środowisku projektowym,
• posługujesz się językiem angielskim na poziomie umożliwiającym swobodną komunikację w międzynarodowym środowisku
Mile widziane:
• doświadczenie z DBT (Data Build Tool),
• znajomość narzędzi AI wspierających programowanie, np. GitHub Copilot,
• doświadczenie w pracy z danymi finansowymi lub bankowymi,
• znajomość Scala, Apache Spark lub Snowpark,
• doświadczenie z Kafka, Jenkins, IBM DataStage lub Informatica
Zadania:
• migracja ponad 100 istniejących pipeline’ów ETL z różnych systemów źródłowych do nowoczesnej platformy opartej na Apache Airflow i Kubernetes,
• projektowanie, budowa i utrzymanie niezawodnych, monitorowalnych i łatwych w utrzymaniu procesów integracji danych,
• współpraca z zespołami źródłowymi i interesariuszami biznesowymi przy wdrażaniu nowych źródeł danych finansowych oraz zapewnianiu stabilności istniejących procesów,
• rozwój rozwiązań do transformacji danych w Snowflake, w tym stopniowe przechodzenie na DBT i modelowanie danych oparte na Python,
• wdrażanie dobrych praktyk w zakresie jakości danych, testowania i utrzymania pipeline’ów,
• współtworzenie kierunku rozwoju technicznego platformy danych wraz z rozbudową zespołu i środowiska
Czego możesz się spodziewać:
• współpracy w oparciu o kontrakt B2B
• pracy hybrydowej 1-3 x w tygodniu z biura w Gdańsku
• profesjonalnego procesu rekrutacyjnego – zawsze otrzymasz od nas feedback niezależnie od decyzji
✅ Dołącz do projektu realizowanego dla międzynarodowej organizacji z sektora bankowego, w którym będziesz odpowiadać za modernizację platformy danych i migrację ponad 100 istniejących pipeline’ów ETL z różnych systemów źródłowych do nowoczesnej architektury opartej na Apache Airflow i Kubernetes. Będziesz projektować i rozwijać niezawodne procesy integracji danych, wspierać onboarding nowych źródeł danych finansowych oraz rozwijać rozwiązania transformacyjne w Snowflake, wykorzystując Python i SQL. Rola obejmuje również współpracę z zespołami biznesowymi i technicznymi oraz wpływ na dalszy rozwój architektury platformy danych.
✅Technologie i narzędzia: Python, Apache Airflow, SQL, Snowflake, Git, Kubernetes.
Szukamy Ciebie, jeśli:
• masz minimum 5 lat doświadczenia w obszarze Data Engineering i bardzo dobrze znasz Python oraz SQL,
• masz praktyczne doświadczenie w pracy z Apache Airflow lub podobnymi narzędziami do orkiestracji procesów danych,
• masz doświadczenie w projektowaniu, rozwijaniu i utrzymywaniu pipeline’ów ETL oraz procesów integracji danych,
• znasz Snowflake lub inną dużą chmurową hurtownię danych,
• rozumiesz podstawy modelowania danych, w tym modelowanie wymiarowe, partycjonowanie i strategie przyrostowego ładowania danych,
• masz doświadczenie w pracy z Git i standardowymi procesami kontroli wersji,
• potrafisz efektywnie współpracować z wieloma zespołami i interesariuszami w złożonym środowisku projektowym,
• posługujesz się językiem angielskim na poziomie umożliwiającym swobodną komunikację w międzynarodowym środowisku
Mile widziane:
• doświadczenie z DBT (Data Build Tool),
• znajomość narzędzi AI wspierających programowanie, np. GitHub Copilot,
• doświadczenie w pracy z danymi finansowymi lub bankowymi,
• znajomość Scala, Apache Spark lub Snowpark,
• doświadczenie z Kafka, Jenkins, IBM DataStage lub Informatica
Zadania:
• migracja ponad 100 istniejących pipeline’ów ETL z różnych systemów źródłowych do nowoczesnej platformy opartej na Apache Airflow i Kubernetes,
• projektowanie, budowa i utrzymanie niezawodnych, monitorowalnych i łatwych w utrzymaniu procesów integracji danych,
• współpraca z zespołami źródłowymi i interesariuszami biznesowymi przy wdrażaniu nowych źródeł danych finansowych oraz zapewnianiu stabilności istniejących procesów,
• rozwój rozwiązań do transformacji danych w Snowflake, w tym stopniowe przechodzenie na DBT i modelowanie danych oparte na Python,
• wdrażanie dobrych praktyk w zakresie jakości danych, testowania i utrzymania pipeline’ów,
• współtworzenie kierunku rozwoju technicznego platformy danych wraz z rozbudową zespołu i środowiska
Czego możesz się spodziewać:
• współpracy w oparciu o kontrakt B2B
• pracy hybrydowej 1-3 x w tygodniu z biura w Gdańsku
• profesjonalnego procesu rekrutacyjnego – zawsze otrzymasz od nas feedback niezależnie od decyzji
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.