Azure Data Engineer
⚲ Wrocław, Poznań
20 160 - 25 200 PLN netto (B2B)
Wymagania
- Azure
- Databricks
- Python
- PySpark
- SQL
- Synapse
- Azure Data Factory
- Azure DevOps
Opis stanowiska
Be in IT to firma rekrutacyjna, wyspecjalizowana w poszukiwaniu Specjalistów z branży technologii informatycznych. Obecnie, dla naszego klienta, poszukujemy osoby na stanowisko Azure Data Engineer.
Zakres obowiązków:
• Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadcząca usługi IT dla dużych i średnich firm z różnorodnych sektorów jak automotive, healthcare, finanse, bankowość czy produkcja.
• Współpraca z zespołem dostarczającym nowoczesne platformy danych i rozwiązania oparte na danych dla klientów z sektora Financial Services oraz Investment Banking.
• Projektowanie, rozwijanie i utrzymywanie pipeline ETL/ELT dla danych strukturalnych i częściowo ustrukturyzowanych.
• Budowa i optymalizacja rozwiązań typu data lakehouse wspierających obszary analityki, raportowania oraz potrzeby regulacyjne.
• Wdrażanie procesów data ingestion z wielu źródeł (bazy danych, API, pliki, messaging / event streams).
• Wykonywanie transformacji danych, walidacji i kontroli jakości w ramach end-to-end data flows.
• Współpraca z Business Analysts, architektami, zespołami QA oraz Platform w celu przekształcania wymagań biznesowych w rozwiązania danych.
• Wsparcie środowisk produkcyjnych, analiza incydentów oraz optymalizacja wydajności (performance tuning).
• Zapewnienie zgodności ze standardami data governance, bezpieczeństwa oraz wymogami regulacyjnymi (compliance).
Oczekujemy:
• Minimum 3 lata doświadczenia zawodowego na stanowisku Data Engineer lub pokrewnym.
• Udokumentowanego doświadczenia w dostarczaniu rozwiązań danych w środowiskach Financial Services / Investment Banking.
• Silnego zaplecza w obszarach takich jak integracja danych, transformacja oraz Data Modelling.
• Doświadczenia w pracy z cloud-based data platforms.
• Biegłości w programowaniu i przetwarzaniu danych z użyciem technologii: Python, SQL, PySpark.
• Praktycznej znajomości platform danych: Databricks (Delta Lake, DLT) oraz architektury cloud data lakes / lakehouse.
• Doświadczenia z chmurą Azure (ADLS, Data Factory, Synapse) lub równoważnymi usługami chmurowymi.
• Znajomości koncepcji Data Modelling, w tym Medallion architecture oraz dimensional models.
• Doświadczenia w integracji z wykorzystaniem REST API, batch oraz streaming ingestion.
• Znajomości metodyk i narzędzi DevOps: Git, CI/CD pipeline, Azure DevOps (lub podobne).
• Zrozumienia zagadnień jakości danych, performance tuning oraz skalowalności.
• Zrozumienia obszarów takich jak bankowość, ryzyko, raportowanie regulacyjne (regulatory reporting) oraz platform analitycznych.
• Doświadczenia we wspieraniu aplikacji intensywnie przetwarzających dane, używanych do podejmowania decyzji i compliance.
•
Gotowości do pracy w modelu hybrydowym w wymiarze 2 dni w tygodniu z biura: Wrocław lub Poznań.
• Znajomości języka angielskiego na poziomie B2 lub C1 - umożliwiająca swobodną komunikację w międzynarodowym środowisku.
• Mile widziana jest dostępność ASAP, akceptowalny jest maksymalnie miesięczny okres wypowiedzenia, ze skutkiem na koniec miesiąca.
Oferujemy:
• Długofalowa współpraca z wynagrodzeniem w przedziale 120 - 150 PLN netto/godz. + VAT.
• Wsparcie przy zakładaniu i prowadzeniu działalności gospodarczej, dla osób bez takiego doświadczenia.
• Sprawny proces rekrutacyjny - dwie rozmowy techniczne z managerami, online (każda maksymalnie po godzinie).
•
Współpraca w modelu hybrydowym w wymiarze 2 dni w tygodniu z biura: Wrocław lub Poznań.
• Benefity - prywatna opieka medyczna, karta Multisport.
• Nowoczesny sprzęt zapewniany przez firmę, wraz z softem i konfiguracją.
Zakres obowiązków:
• Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadcząca usługi IT dla dużych i średnich firm z różnorodnych sektorów jak automotive, healthcare, finanse, bankowość czy produkcja.
• Współpraca z zespołem dostarczającym nowoczesne platformy danych i rozwiązania oparte na danych dla klientów z sektora Financial Services oraz Investment Banking.
• Projektowanie, rozwijanie i utrzymywanie pipeline ETL/ELT dla danych strukturalnych i częściowo ustrukturyzowanych.
• Budowa i optymalizacja rozwiązań typu data lakehouse wspierających obszary analityki, raportowania oraz potrzeby regulacyjne.
• Wdrażanie procesów data ingestion z wielu źródeł (bazy danych, API, pliki, messaging / event streams).
• Wykonywanie transformacji danych, walidacji i kontroli jakości w ramach end-to-end data flows.
• Współpraca z Business Analysts, architektami, zespołami QA oraz Platform w celu przekształcania wymagań biznesowych w rozwiązania danych.
• Wsparcie środowisk produkcyjnych, analiza incydentów oraz optymalizacja wydajności (performance tuning).
• Zapewnienie zgodności ze standardami data governance, bezpieczeństwa oraz wymogami regulacyjnymi (compliance).
Oczekujemy:
• Minimum 3 lata doświadczenia zawodowego na stanowisku Data Engineer lub pokrewnym.
• Udokumentowanego doświadczenia w dostarczaniu rozwiązań danych w środowiskach Financial Services / Investment Banking.
• Silnego zaplecza w obszarach takich jak integracja danych, transformacja oraz Data Modelling.
• Doświadczenia w pracy z cloud-based data platforms.
• Biegłości w programowaniu i przetwarzaniu danych z użyciem technologii: Python, SQL, PySpark.
• Praktycznej znajomości platform danych: Databricks (Delta Lake, DLT) oraz architektury cloud data lakes / lakehouse.
• Doświadczenia z chmurą Azure (ADLS, Data Factory, Synapse) lub równoważnymi usługami chmurowymi.
• Znajomości koncepcji Data Modelling, w tym Medallion architecture oraz dimensional models.
• Doświadczenia w integracji z wykorzystaniem REST API, batch oraz streaming ingestion.
• Znajomości metodyk i narzędzi DevOps: Git, CI/CD pipeline, Azure DevOps (lub podobne).
• Zrozumienia zagadnień jakości danych, performance tuning oraz skalowalności.
• Zrozumienia obszarów takich jak bankowość, ryzyko, raportowanie regulacyjne (regulatory reporting) oraz platform analitycznych.
• Doświadczenia we wspieraniu aplikacji intensywnie przetwarzających dane, używanych do podejmowania decyzji i compliance.
•
Gotowości do pracy w modelu hybrydowym w wymiarze 2 dni w tygodniu z biura: Wrocław lub Poznań.
• Znajomości języka angielskiego na poziomie B2 lub C1 - umożliwiająca swobodną komunikację w międzynarodowym środowisku.
• Mile widziana jest dostępność ASAP, akceptowalny jest maksymalnie miesięczny okres wypowiedzenia, ze skutkiem na koniec miesiąca.
Oferujemy:
• Długofalowa współpraca z wynagrodzeniem w przedziale 120 - 150 PLN netto/godz. + VAT.
• Wsparcie przy zakładaniu i prowadzeniu działalności gospodarczej, dla osób bez takiego doświadczenia.
• Sprawny proces rekrutacyjny - dwie rozmowy techniczne z managerami, online (każda maksymalnie po godzinie).
•
Współpraca w modelu hybrydowym w wymiarze 2 dni w tygodniu z biura: Wrocław lub Poznań.
• Benefity - prywatna opieka medyczna, karta Multisport.
• Nowoczesny sprzęt zapewniany przez firmę, wraz z softem i konfiguracją.
🔍 Dekoder Ogłoszenia
🔴
Długofalowa współpraca z międzynarodową, topową firmą consultingową
Może oznaczać pracę w projekcie, który ma niepewną przyszłość lub jest zależny od klienta, a nie stabilne zatrudnienie u końcowego pracodawcy.
🔴
Współpraca z zespołem dostarczającym nowoczesne platformy danych i rozwiązania oparte na danych
Może oznaczać pracę nad projektami, które są w fazie rozwoju lub są eksperymentalne, a nie nad dojrzałymi i stabilnymi systemami.
🔴
Wsparcie środowisk produkcyjnych, analiza incydentów oraz optymalizacja wydajności (performance tuning)
Oprócz tworzenia nowych rozwiązań, będziesz odpowiedzialny za rozwiązywanie problemów i utrzymanie istniejących systemów, co może oznaczać dyżury i pracę pod presją.
🟡
Wykonywanie transformacji danych, walidacji i kontroli jakości w ramach end-to-end data flows
Oznacza to, że będziesz odpowiedzialny za cały cykl życia danych, od pozyskania po dostarczenie, co może być bardzo czasochłonne i wymagać dbałości o szczegóły.
🟡
Zapewnienie zgodności ze standardami data governance, bezpieczeństwa oraz wymogami regulacyjnymi (compliance)
Praca będzie wymagała ścisłego przestrzegania zasad i procedur, co może ograniczać swobodę w podejmowaniu decyzji i wymagać dokładności.