Data Engineer
⚲ Wrocław, Poznań
20 160 - 23 520 PLN netto (B2B)
Wymagania
- Python
- SQL
- PySpark
- Databricks
- Azure
Opis stanowiska
Team Connect to wiodący w Polsce dostawca usług IT w modelu nearshore i offshore. Od 2008 roku z sukcesem tworzymy oraz rozwijamy oprogramowanie dla naszych klientów.
Specjalizujemy się w wytwarzaniu oprogramowania w oparciu o metodyki Agile i DevOps - od etapu analizy, przez implementację, aż po dalszy rozwój produktu. Tworzymy aplikacje backendowe, frontendowe oraz mobilne.
Dla jednego z naszych klientów z branży finansowej poszukujemy osoby na stanowisko Data Engineer. Specjalista/tka dołączy do wysoko wydajnego zespołu tworzącego nowoczesne platformy danych oraz rozwiązania oparte na danych dla klientów z sektora Usług Finansowych i Bankowości Inwestycyjnej. Rola koncentruje się na budowie, integracji i utrzymaniu skalowalnych potoków danych (data pipelines) wspierających analitykę, zarządzanie ryzykiem, wymagania regulacyjne oraz procesy raportowania.
Lokalizacja: praca hybrydowa z Wrocławia/Poznania (2 razy na tydzień praca z biura)
Zakres obowiązków:
• Projektowanie, rozwój i utrzymanie potoków danych ETL/ELT dla danych ustrukturyzowanych i częściowo ustrukturyzowanych.
• Budowa i optymalizacja rozwiązań typu data lakehouse wspierających analitykę, raportowanie oraz wymagania regulacyjne.
• Implementacja procesów pozyskiwania danych z wielu źródeł (bazy danych, API, pliki, strumienie komunikatów/zdarzeń).
• Wykonywanie transformacji danych, walidacji oraz kontroli jakości w całych przepływach danych (end-to-end).
• Współpraca z Analitykami Biznesowymi oraz interesariuszami w celu przełożenia wymagań biznesowych na rozwiązania danych.
• Wsparcie środowisk produkcyjnych, analiza incydentów oraz udział w optymalizacji wydajności.
• Zapewnienie zgodności z zasadami zarządzania danymi (data governance), bezpieczeństwa oraz standardami regulacyjnymi.
Wymagania:
• Min.3–7+ lat doświadczenia jako Inżynier Danych lub na podobnym stanowisku.
• Udokumentowane doświadczenie w dostarczaniu rozwiązań danych dla sektora Financial Services / Investment Banking.
• Silne doświadczenie w zakresie: integracji danych, transformacji danych, modelowania danych.
• Doświadczenie w pracy z platformami danych działającymi w chmurze.
• Doświadczenie/Znajomość:• Programowanie i przetwarzanie danych: Python, SQL, PySpark,
• Platformy danych: Databricks (Delta Lake, DLT),
• Coud data lakes / architektury lakehouse,
• Chmura: Azure: ADLS (Azure Data Lake Storage), Data Factory, Synapse lub równoważne usługi chmurowe,
• Modelowanie danych: Architektura Medallion, Modele wymiarowe (dimensional models), Data Vault (mile widziane),
• Integracja: REST API, Przetwarzanie wsadowe (batch ingestion), Przetwarzanie strumieniowe (streaming ingestion),
• DevOps i narzędzia: Git, Pipeline’y CI/CD, Azure DevOps lub podobne narzędzi,
• Bardzo dobra znajomość: jakości danych, optymalizacji wydajności, skalowalności rozwiązań.
Specjalizujemy się w wytwarzaniu oprogramowania w oparciu o metodyki Agile i DevOps - od etapu analizy, przez implementację, aż po dalszy rozwój produktu. Tworzymy aplikacje backendowe, frontendowe oraz mobilne.
Dla jednego z naszych klientów z branży finansowej poszukujemy osoby na stanowisko Data Engineer. Specjalista/tka dołączy do wysoko wydajnego zespołu tworzącego nowoczesne platformy danych oraz rozwiązania oparte na danych dla klientów z sektora Usług Finansowych i Bankowości Inwestycyjnej. Rola koncentruje się na budowie, integracji i utrzymaniu skalowalnych potoków danych (data pipelines) wspierających analitykę, zarządzanie ryzykiem, wymagania regulacyjne oraz procesy raportowania.
Lokalizacja: praca hybrydowa z Wrocławia/Poznania (2 razy na tydzień praca z biura)
Zakres obowiązków:
• Projektowanie, rozwój i utrzymanie potoków danych ETL/ELT dla danych ustrukturyzowanych i częściowo ustrukturyzowanych.
• Budowa i optymalizacja rozwiązań typu data lakehouse wspierających analitykę, raportowanie oraz wymagania regulacyjne.
• Implementacja procesów pozyskiwania danych z wielu źródeł (bazy danych, API, pliki, strumienie komunikatów/zdarzeń).
• Wykonywanie transformacji danych, walidacji oraz kontroli jakości w całych przepływach danych (end-to-end).
• Współpraca z Analitykami Biznesowymi oraz interesariuszami w celu przełożenia wymagań biznesowych na rozwiązania danych.
• Wsparcie środowisk produkcyjnych, analiza incydentów oraz udział w optymalizacji wydajności.
• Zapewnienie zgodności z zasadami zarządzania danymi (data governance), bezpieczeństwa oraz standardami regulacyjnymi.
Wymagania:
• Min.3–7+ lat doświadczenia jako Inżynier Danych lub na podobnym stanowisku.
• Udokumentowane doświadczenie w dostarczaniu rozwiązań danych dla sektora Financial Services / Investment Banking.
• Silne doświadczenie w zakresie: integracji danych, transformacji danych, modelowania danych.
• Doświadczenie w pracy z platformami danych działającymi w chmurze.
• Doświadczenie/Znajomość:• Programowanie i przetwarzanie danych: Python, SQL, PySpark,
• Platformy danych: Databricks (Delta Lake, DLT),
• Coud data lakes / architektury lakehouse,
• Chmura: Azure: ADLS (Azure Data Lake Storage), Data Factory, Synapse lub równoważne usługi chmurowe,
• Modelowanie danych: Architektura Medallion, Modele wymiarowe (dimensional models), Data Vault (mile widziane),
• Integracja: REST API, Przetwarzanie wsadowe (batch ingestion), Przetwarzanie strumieniowe (streaming ingestion),
• DevOps i narzędzia: Git, Pipeline’y CI/CD, Azure DevOps lub podobne narzędzi,
• Bardzo dobra znajomość: jakości danych, optymalizacji wydajności, skalowalności rozwiązań.
🔍 Dekoder Ogłoszenia
🔴
wysoko wydajnego zespołu
Może oznaczać zespół z wysokimi oczekiwaniami co do produktywności, a niekoniecznie z najlepszymi narzędziami czy procesami.
🔴
nowoczesne platformy danych
Może oznaczać, że technologie są nowe, ale ich implementacja lub architektura niekoniecznie jest optymalna lub dobrze zaprojektowana.
🟡
rozwiązania oparte na danych
Jest to bardzo ogólne stwierdzenie, które może obejmować szeroki zakres projektów, od prostych raportów po zaawansowane modele ML.
🔴
praca hybrydowa z Wrocławia/Poznania (2 razy na tydzień praca z biura)
Chociaż podano konkretne dni, może to oznaczać, że oczekuje się elastyczności i gotowości do pracy z biura częściej, jeśli zajdzie taka potrzeba.
🔴
Współpraca z Analitykami Biznesowymi oraz interes
Fragment jest niekompletny, co może sugerować niedbałość w tworzeniu ogłoszenia lub brak jasności co do zakresu współpracy.