Data engineer AI/ML
⚲ Poznań, Warszawa, Wrocław
90–130 zł netto (+ VAT) / godz.
Wymagania
- Python
- PySpark
- SQL
- Databricks
- Apache Airflow
- Azure DevOps
- Azure Pipelines
- Git
Opis stanowiska
Nasze wymagania:
Minimum 8-letnie doświadczenie w inżynierii danych lub na pokrewnym stanowisku.
Biegła znajomość języka Python (w tym PySpark, pytest, pre-commit, menedżer pakietów uv).
Praktyczne doświadczenie z platformą Databricks (Lakehouse, Lakeflow Jobs, Databricks Asset Bundles).
Bardzo dobra znajomość SQL oraz Apache Airflow.
Doświadczenie z chmurą Azure oraz narzędziami Azure DevOps / Azure Pipelines.
Znajomość systemu Git (workflows: feature branch do main branch, code review).
Doświadczenie w pracy zgodnie z nowoczesnymi praktykami Data Engineeringu oraz DevOps.
Mile widziane:
Doświadczenie w pracy dla instytucji finansowych (znajomość domeny Finance & Risk).
Praktyczna znajomość metodyk zwinnych (Scrum, Kanban).
Doświadczenie z platformami danych o dużej skali (large-scale data platforms).
Znajomość architektur cloud-native.
Doświadczenie w zespołach z silną kulturą DevOps.
Wiedza z zakresu monitoringu i wsparcia operacyjnego dla pipeline'ów danych.
O projekcie:
Dołącz do naszego zespołu budującego nowoczesną platformę danych! Poszukujemy doświadczonego AI/ML Data Engineera, który wesprze nas w projektowaniu, wdrażaniu i utrzymaniu skalowalnych rozwiązań backendowych dla obszaru danych finansowych i ryzyka (Finance & Risk Data Domain). Będziesz pracować w środowisku chmurowym, blisko współpracując z zespołami inżynieryjnymi, analitycznymi oraz biznesem, aby dostarczać niezawodne i wydajne potoki danych (data pipelines).
Zakres obowiązków:
Projektowanie, budowanie i utrzymanie potoków danych przy użyciu Python, PySpark oraz SQL.
Rozwój i operacjonalizacja rozwiązań w obszarze Databricks Lakehouse.
Tworzenie oraz zarządzanie procesami (workflows) za pomocą Apache Airflow.
Wdrażanie i rozwój procesów CI/CD z wykorzystaniem Azure DevOps oraz Azure Pipelines.
Praca z systemem Git (w oparciu o Pull Requests oraz przepływy Feature-Branch).
Automatyzacja i monitorowanie zadań przetwarzania danych (np. Databricks Lakeflow Jobs).
Pakietowanie, wdrażanie i zarządzanie kodem przy użyciu Databricks Asset Bundles.
Dbanie o najwyższą jakość danych poprzez testowanie i automatyzację (pytest, pre-commit hooks).
Praca w skonteneryzowanych środowiskach deweloperskich (Devcontainers, rozszerzenia VS Code).
Oferujemy:
Stabilną współpracę w oparciu o kontrakt B2B.
Elastyczny model pracy hybrydowej (ok. 20% czasu z nowoczesnych biur w Warszawie, Poznaniu lub Wrocławiu).
Prace przy zaawansowanym tech stacku (Databricks Lakehouse, Airflow, Azure).
Realny wpływ na architekturę i rozwój platformy danych w dużej skali.
Pracę w doświadczonym, zgranym zespole inżynierów.
Minimum 8-letnie doświadczenie w inżynierii danych lub na pokrewnym stanowisku.
Biegła znajomość języka Python (w tym PySpark, pytest, pre-commit, menedżer pakietów uv).
Praktyczne doświadczenie z platformą Databricks (Lakehouse, Lakeflow Jobs, Databricks Asset Bundles).
Bardzo dobra znajomość SQL oraz Apache Airflow.
Doświadczenie z chmurą Azure oraz narzędziami Azure DevOps / Azure Pipelines.
Znajomość systemu Git (workflows: feature branch do main branch, code review).
Doświadczenie w pracy zgodnie z nowoczesnymi praktykami Data Engineeringu oraz DevOps.
Mile widziane:
Doświadczenie w pracy dla instytucji finansowych (znajomość domeny Finance & Risk).
Praktyczna znajomość metodyk zwinnych (Scrum, Kanban).
Doświadczenie z platformami danych o dużej skali (large-scale data platforms).
Znajomość architektur cloud-native.
Doświadczenie w zespołach z silną kulturą DevOps.
Wiedza z zakresu monitoringu i wsparcia operacyjnego dla pipeline'ów danych.
O projekcie:
Dołącz do naszego zespołu budującego nowoczesną platformę danych! Poszukujemy doświadczonego AI/ML Data Engineera, który wesprze nas w projektowaniu, wdrażaniu i utrzymaniu skalowalnych rozwiązań backendowych dla obszaru danych finansowych i ryzyka (Finance & Risk Data Domain). Będziesz pracować w środowisku chmurowym, blisko współpracując z zespołami inżynieryjnymi, analitycznymi oraz biznesem, aby dostarczać niezawodne i wydajne potoki danych (data pipelines).
Zakres obowiązków:
Projektowanie, budowanie i utrzymanie potoków danych przy użyciu Python, PySpark oraz SQL.
Rozwój i operacjonalizacja rozwiązań w obszarze Databricks Lakehouse.
Tworzenie oraz zarządzanie procesami (workflows) za pomocą Apache Airflow.
Wdrażanie i rozwój procesów CI/CD z wykorzystaniem Azure DevOps oraz Azure Pipelines.
Praca z systemem Git (w oparciu o Pull Requests oraz przepływy Feature-Branch).
Automatyzacja i monitorowanie zadań przetwarzania danych (np. Databricks Lakeflow Jobs).
Pakietowanie, wdrażanie i zarządzanie kodem przy użyciu Databricks Asset Bundles.
Dbanie o najwyższą jakość danych poprzez testowanie i automatyzację (pytest, pre-commit hooks).
Praca w skonteneryzowanych środowiskach deweloperskich (Devcontainers, rozszerzenia VS Code).
Oferujemy:
Stabilną współpracę w oparciu o kontrakt B2B.
Elastyczny model pracy hybrydowej (ok. 20% czasu z nowoczesnych biur w Warszawie, Poznaniu lub Wrocławiu).
Prace przy zaawansowanym tech stacku (Databricks Lakehouse, Airflow, Azure).
Realny wpływ na architekturę i rozwój platformy danych w dużej skali.
Pracę w doświadczonym, zgranym zespole inżynierów.
🔍 Dekoder Ogłoszenia
🔴
Minimum 8-letnie doświadczenie w inżynierii danych lub na pokrewnym stanowisku.
Może oznaczać, że szukają kogoś na poziomie seniorskim lub leadowym, a niekoniecznie stricte 8 lat jako Data Engineer.
🔴
Doświadczenie w pracy zgodnie z nowoczesnymi praktykami Data Engineeringu oraz DevOps.
Może oznaczać, że oczekują od kandydata samodzielnego wprowadzania i egzekwowania tych praktyk, a nie tylko ich stosowania.
🟡
Doświadczenie z platformami danych o dużej skali (large-scale data platforms).
Może oznaczać zarówno pracę z naprawdę dużymi zbiorami danych, jak i po prostu z platformami, które są skalowalne, nawet jeśli nie są jeszcze w pełni wykorzystywane.
🔴
Doświadczenie w zespołach z silną kulturą DevOps.
Może oznaczać, że zespół już działa w modelu DevOps, ale równie dobrze może oznaczać, że dopiero chcą ją budować i oczekują, że kandydat będzie ją współtworzył.
🟡
Wiedza z zakresu monitoringu i wsparcia operacyjnego dla pipeline'ów danych.
Może oznaczać, że oprócz budowy, kandydat będzie odpowiedzialny za utrzymanie i rozwiązywanie problemów w działających już systemach.