Azure Data Databricks Engineer
⚲ Wrocław, Poznań, Warszawa
21 840 - 26 880 PLN netto (B2B)
Wymagania
- Azure
- Data
- Databricks
Opis stanowiska
Be in IT to firma rekrutacyjna, wyspecjalizowana w poszukiwaniu Specjalistów z branży technologii informatycznych. Obecnie, dla naszego klienta, poszukujemy osoby na stanowisko Azure Data Databricks Engineer.
Zakres obowiązków:
• Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadczącą usługi IT dla dużych i średnich firm z sektora finansowego i zarządzania ryzykiem.
• Projektowanie, budowanie i utrzymywanie data pipeline'ów z wykorzystaniem Pythona, PySpark i SQL.
• Rozwijanie i operowanie rozwiązaniami danych na platformie Databricks Lakehouse.
• Tworzenie i zarządzanie workflowami przy użyciu Apache Airflow.
• Implementacja procesów CI/CD z wykorzystaniem Azure DevOps i Azure Pipelines.
• Praca z Git w oparciu o pull requesty i feature-branch workflows.
• Automatyzacja i monitoring zadań przetwarzania danych (m.in. Databricks Lakeflow Jobs).
• Pakowanie, wdrażanie i zarządzanie rozwiązaniami za pomocą Databricks Asset Bundles.
• Zapewnianie jakości danych poprzez testowanie i automatyzację (pytest, pre-commit hooks).
• Korzystanie ze skonteneryzowanych środowisk deweloperskich (Devcontainers, rozszerzenia VS Code).
• Ścisła współpraca z zespołami inżynieryjnymi, analitycznymi i biznesowymi w celu dostarczania niezawodnych i efektywnych rozwiązań danych.
Oczekujemy:
• Minimum 8 lat doświadczenia zawodowego w obszarze inżynierii danych lub pokrewnym.
• Zaawansowanej znajomości Pythona, w tym PySpark, pytest, pre-commit oraz menedżera pakietów uv.
• Praktycznego doświadczenia z platformą Databricks (Lakehouse, Lakeflow Jobs, Databricks Asset Bundles).
• Bardzo dobrej znajomości SQL.
• Doświadczenia w pracy z Apache Airflow.
• Praktycznej znajomości Azure DevOps i Azure Pipelines.
• Doświadczenia z platformą chmurową Microsoft Azure.
• Biegłej obsługi Git (pull requesty, feature branch to main branch workflows).
• Ugruntowanej wiedzy z zakresu nowoczesnych praktyk data engineeringu i DevOps.
• Mile widziane: doświadczenie we współpracy z instytucjami finansowymi.
• Mile widziane: znajomość metodyk Agile (Scrum, Kanban).
• Mile widziane: doświadczenie z wielkoskalowymi platformami danych i architekturami cloud-native.
• Mile widziane: doświadczenie w monitoringu i wsparciu operacyjnym data pipeline'ów.
•
Gotowości do pracy w modelu hybrydowym (1 dzień w tygodniu w biurze klienta w Warszawie lub w Poznaniu lub we Wrocławiu) z elastycznością w ustaleniu harmonogramu.
• Znajomości języka angielskiego na poziomie B2 lub C1 – umożliwiającej swobodną komunikację w międzynarodowym środowisku.
• Mile widziana dostępność ASAP; akceptowalny jest maksymalnie miesięczny okres wypowiedzenia ze skutkiem na koniec miesiąca.
Oferujemy:
• Długofalowa współpraca z wynagrodzeniem w przedziale 130-160 PLN netto/godz. + VAT.
• Wsparcie przy zakładaniu i prowadzeniu działalności gospodarczej, dla osób bez takiego doświadczenia.
• Sprawny proces rekrutacyjny - dwie rozmowy techniczne z managerami, online (każda maksymalnie po godzinie).
• Współpraca w modelu hybrydowym w wymiarze 1 dnia w tygodniu z biura w Warszawie lub w Poznaniu lub we Wrocławiu.
• Benefity - prywatna opieka medyczna, karta Multisport.
• Nowoczesny sprzęt zapewniany przez firmę, wraz z softem i konfiguracją.
Zakres obowiązków:
• Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadczącą usługi IT dla dużych i średnich firm z sektora finansowego i zarządzania ryzykiem.
• Projektowanie, budowanie i utrzymywanie data pipeline'ów z wykorzystaniem Pythona, PySpark i SQL.
• Rozwijanie i operowanie rozwiązaniami danych na platformie Databricks Lakehouse.
• Tworzenie i zarządzanie workflowami przy użyciu Apache Airflow.
• Implementacja procesów CI/CD z wykorzystaniem Azure DevOps i Azure Pipelines.
• Praca z Git w oparciu o pull requesty i feature-branch workflows.
• Automatyzacja i monitoring zadań przetwarzania danych (m.in. Databricks Lakeflow Jobs).
• Pakowanie, wdrażanie i zarządzanie rozwiązaniami za pomocą Databricks Asset Bundles.
• Zapewnianie jakości danych poprzez testowanie i automatyzację (pytest, pre-commit hooks).
• Korzystanie ze skonteneryzowanych środowisk deweloperskich (Devcontainers, rozszerzenia VS Code).
• Ścisła współpraca z zespołami inżynieryjnymi, analitycznymi i biznesowymi w celu dostarczania niezawodnych i efektywnych rozwiązań danych.
Oczekujemy:
• Minimum 8 lat doświadczenia zawodowego w obszarze inżynierii danych lub pokrewnym.
• Zaawansowanej znajomości Pythona, w tym PySpark, pytest, pre-commit oraz menedżera pakietów uv.
• Praktycznego doświadczenia z platformą Databricks (Lakehouse, Lakeflow Jobs, Databricks Asset Bundles).
• Bardzo dobrej znajomości SQL.
• Doświadczenia w pracy z Apache Airflow.
• Praktycznej znajomości Azure DevOps i Azure Pipelines.
• Doświadczenia z platformą chmurową Microsoft Azure.
• Biegłej obsługi Git (pull requesty, feature branch to main branch workflows).
• Ugruntowanej wiedzy z zakresu nowoczesnych praktyk data engineeringu i DevOps.
• Mile widziane: doświadczenie we współpracy z instytucjami finansowymi.
• Mile widziane: znajomość metodyk Agile (Scrum, Kanban).
• Mile widziane: doświadczenie z wielkoskalowymi platformami danych i architekturami cloud-native.
• Mile widziane: doświadczenie w monitoringu i wsparciu operacyjnym data pipeline'ów.
•
Gotowości do pracy w modelu hybrydowym (1 dzień w tygodniu w biurze klienta w Warszawie lub w Poznaniu lub we Wrocławiu) z elastycznością w ustaleniu harmonogramu.
• Znajomości języka angielskiego na poziomie B2 lub C1 – umożliwiającej swobodną komunikację w międzynarodowym środowisku.
• Mile widziana dostępność ASAP; akceptowalny jest maksymalnie miesięczny okres wypowiedzenia ze skutkiem na koniec miesiąca.
Oferujemy:
• Długofalowa współpraca z wynagrodzeniem w przedziale 130-160 PLN netto/godz. + VAT.
• Wsparcie przy zakładaniu i prowadzeniu działalności gospodarczej, dla osób bez takiego doświadczenia.
• Sprawny proces rekrutacyjny - dwie rozmowy techniczne z managerami, online (każda maksymalnie po godzinie).
• Współpraca w modelu hybrydowym w wymiarze 1 dnia w tygodniu z biura w Warszawie lub w Poznaniu lub we Wrocławiu.
• Benefity - prywatna opieka medyczna, karta Multisport.
• Nowoczesny sprzęt zapewniany przez firmę, wraz z softem i konfiguracją.
🔍 Dekoder Ogłoszenia
🔴
Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadczącą usługi IT dla dużych i średnich firm z sektora finansowego i zarządzania ryzykiem.
Praca będzie realizowana dla klienta zewnętrznego, a nie bezpośrednio dla firmy rekrutującej, co może oznaczać brak wpływu na kulturę organizacyjną i procesy wewnętrzne.
🟡
Rozwijanie i operowanie rozwiązaniami danych na platformie Databricks Lakehouse.
Oprócz budowania, będziesz również odpowiedzialny za bieżące utrzymanie i rozwiązywanie problemów związanych z istniejącymi rozwiązaniami.
🟡
Praca z Git w oparciu o pull requesty i feature-branch workflows.
Standardowa praktyka w nowoczesnym rozwoju oprogramowania, ale może sugerować, że nie jest to projekt z luźnym podejściem do kontroli wersji.
🟡
Zapewnianie jakości danych poprzez testowanie i automatyzację (pytest, pre-commit hooks).
Oczekuje się aktywnego udziału w procesie zapewnienia jakości, a nie tylko implementacji nowych funkcjonalności.
🔴
Minimum 8 lat doświadczenia zawodowego w obszarze inżynierii danych lub pokrewnym.
Wymagane jest bardzo znaczące doświadczenie, co może ograniczać liczbę potencjalnych kandydatów i sugerować, że projekt jest złożony i wymaga senioralnego podejścia.