Data Engineer (Azure)
⚲ Warszawa
23 856 - 26 040 PLN netto (B2B)
Wymagania
- Azure
- Databricks
- Azure DevOps
- Python
- PySpark
- Spark
- SQL
Opis stanowiska
Wspólnie z naszym Partnerem, międzynarodową organizacją z branży ubezpieczeniowej realizującą strategiczne inicjatywy transformacji danych w wielu krajach, poszukujemy doświadczonego/ej specjalisty/ki do realizacji projektów jako Data Engineer.
Projekt obejmuje budowę i rozwój platformy DataHub opartej o architekturę medalionową (Bronze/Silver/Gold) oraz model Data Vault 2.0, wspierającej integrację i przetwarzanie danych na potrzeby wielu obszarów biznesowych.
💡 ZAKRES USŁUG:
• Dostarczanie rekomendacji dotyczących optymalizacji wydajności, przechowywania oraz przetwarzania danych, na podstawie ustaleń z interesariuszami projektu.
• Projektowanie i wdrażanie skalowalnych Data Hubów w środowisku Azure oraz Azure Databricks, zapewniających efektywną integrację danych z wielu źródeł.
• Zaprojektowane i wdrożone modele danych zgodne z architekturą Data Vault 2.0, umożliwiające dalszy rozwój i standaryzację platformy danych.
• Rozwiązania do walidacji danych, wykrywania anomalii i monitorowania jakości danych, dostarczone wraz z mechanizmami raportowania.
• Dokumentacja modeli danych, potoków przetwarzania oraz decyzji architektonicznych, przygotowana zgodnie ze standardami projektu.
• Opracowane i utrzymane procesy przetwarzania danych wspierające analitykę oraz raportowanie w czasie rzeczywistym.
• Tworzenie oraz optymalizacja potoków ETL/ELT w Spark i PySpark.
🔍 WYMAGANE KOMPETENCJE:
•
Minimum 4 lata doświadczenia w realizacji projektów jako Data Engineer.
• Komunikatywna znajomość języka angielskiego umożliwiająca współpracę w środowisku międzynarodowym.
• Znajomość usług Microsoft Azure, w szczególności Azure Databricks oraz Azure DevOps.
• Doświadczenie w projektowaniu i budowie rozwiązań dla dużych zbiorów danych.
• Doświadczenie w budowie i optymalizacji procesów ETL/ELT.
• Praktyczna znajomość Python, Spark, PySpark oraz SQL.
Mile widziane:
• Doświadczenie w projektowaniu i utrzymaniu rozwiązań CI/CD.
• Znajomość modelowania danych w oparciu o Data Vault 2.0.
• Znajomość Terraform, Docker oraz Kubernetes.
• Doświadczenie z DBT (Data Build Tool).
✨ OFERUJEMY:
•
Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.
• 🌍 Gotowość do spotkań koordynacyjnych w Warszawie (centrum miasta) – częstotliwość i termin do uzgodnienia; miejsce i czas świadczenia usług do uzgodnienia.
• Realizacja usług w ramach strategicznego programu budowy platform danych dla międzynarodowej organizacji z branży ubezpieczeniowej.
• Współpraca realizowana w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.
• Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
• Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.
• Realizacja usług na rzecz Partnera w obszarze Data Engineering, Data Platform oraz DevOps.
• 5 000 PLN za polecenie znajomych do naszych projektów.
• Elastyczna forma współpracy B2B.
• Szybki i zdalny proces.
Dziękujemy za wszystkie zgłoszenia. Pragniemy poinformować, że skontaktujemy się z wybranymi osobami.
12988/NS
Projekt obejmuje budowę i rozwój platformy DataHub opartej o architekturę medalionową (Bronze/Silver/Gold) oraz model Data Vault 2.0, wspierającej integrację i przetwarzanie danych na potrzeby wielu obszarów biznesowych.
💡 ZAKRES USŁUG:
• Dostarczanie rekomendacji dotyczących optymalizacji wydajności, przechowywania oraz przetwarzania danych, na podstawie ustaleń z interesariuszami projektu.
• Projektowanie i wdrażanie skalowalnych Data Hubów w środowisku Azure oraz Azure Databricks, zapewniających efektywną integrację danych z wielu źródeł.
• Zaprojektowane i wdrożone modele danych zgodne z architekturą Data Vault 2.0, umożliwiające dalszy rozwój i standaryzację platformy danych.
• Rozwiązania do walidacji danych, wykrywania anomalii i monitorowania jakości danych, dostarczone wraz z mechanizmami raportowania.
• Dokumentacja modeli danych, potoków przetwarzania oraz decyzji architektonicznych, przygotowana zgodnie ze standardami projektu.
• Opracowane i utrzymane procesy przetwarzania danych wspierające analitykę oraz raportowanie w czasie rzeczywistym.
• Tworzenie oraz optymalizacja potoków ETL/ELT w Spark i PySpark.
🔍 WYMAGANE KOMPETENCJE:
•
Minimum 4 lata doświadczenia w realizacji projektów jako Data Engineer.
• Komunikatywna znajomość języka angielskiego umożliwiająca współpracę w środowisku międzynarodowym.
• Znajomość usług Microsoft Azure, w szczególności Azure Databricks oraz Azure DevOps.
• Doświadczenie w projektowaniu i budowie rozwiązań dla dużych zbiorów danych.
• Doświadczenie w budowie i optymalizacji procesów ETL/ELT.
• Praktyczna znajomość Python, Spark, PySpark oraz SQL.
Mile widziane:
• Doświadczenie w projektowaniu i utrzymaniu rozwiązań CI/CD.
• Znajomość modelowania danych w oparciu o Data Vault 2.0.
• Znajomość Terraform, Docker oraz Kubernetes.
• Doświadczenie z DBT (Data Build Tool).
✨ OFERUJEMY:
•
Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.
• 🌍 Gotowość do spotkań koordynacyjnych w Warszawie (centrum miasta) – częstotliwość i termin do uzgodnienia; miejsce i czas świadczenia usług do uzgodnienia.
• Realizacja usług w ramach strategicznego programu budowy platform danych dla międzynarodowej organizacji z branży ubezpieczeniowej.
• Współpraca realizowana w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.
• Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
• Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.
• Realizacja usług na rzecz Partnera w obszarze Data Engineering, Data Platform oraz DevOps.
• 5 000 PLN za polecenie znajomych do naszych projektów.
• Elastyczna forma współpracy B2B.
• Szybki i zdalny proces.
Dziękujemy za wszystkie zgłoszenia. Pragniemy poinformować, że skontaktujemy się z wybranymi osobami.
12988/NS
🔍 Dekoder Ogłoszenia
🔴
realizującą strategiczne inicjatywy transformacji danych w wielu krajach
Projekt może być złożony, długotrwały i wymagać pracy z różnymi kulturami oraz systemami prawnymi.
🔴
budowę i rozwój platformy DataHub
Może oznaczać zarówno tworzenie od zera, jak i pracę nad istniejącą, potencjalnie niedopracowaną platformą.
🔴
wspierającej integrację i przetwarzanie danych na potrzeby wielu obszarów biznesowych
Oznacza konieczność zrozumienia potrzeb wielu, często sprzecznych, grup interesariuszy.
🔴
Dostarczanie rekomendacji dotyczących optymalizacji wydajności, przechowywania oraz przetwarzania danych, na podstawie ustaleń z interesariuszami projektu.
Może oznaczać, że obecne rozwiązania nie są optymalne i będziesz musiał/a rozwiązywać istniejące problemy.
🔴
Opracowane i utrzymane procesy przetwarzania danych wspierające analitykę oraz raportowanie w czasie rzeczywistym.
Wymaga to nie tylko budowy, ale i ciągłego dbania o działanie procesów, co może oznaczać dyżury i rozwiązywanie problemów poza standardowymi godzinami.