MLOps Engineer (Azure & Databricks)
⚲ Warszawa
21 840 - 27 720 PLN netto (B2B)
Wymagania
- Python
- MLOps
- Databricks
- Spark
- AI
- MLflow
- CI/CD
- GitHub Actions
Opis stanowiska
W Data by Example nie tylko dostarczamy rozwiązania IT – my nadajemy danym sens: https://byexample.eu/
Aktualnie dla naszego klienta z branży HVAC budujemy zespół ekspertów do przebudowy wewnętrznie opracowanego oprogramowania do uczenia maszynowego, służącego do prognozowania kilku tysięcy szeregów czasowych w ramach każdego cyklu przetwarzania. Celem jest stworzenie rozwiązania klasy produkcyjnej, spełniającego wysokie standardy w zakresie łatwości utrzymania, elastyczności, skalowalności i doskonałości operacyjnej.
Główne zadania:
• zbudowanie solidnych fundamentów inżynieryjnych
• automatyzacja, zapewnienie skalowalności i obserwowalności
• wdrożenie procesów wydawniczych i zarządzania cyklem życia modeli ML, aby zagwarantować niezawodne i efektywne kosztowo wdrażanie oraz eksploatację zadań związanych z danymi i uczeniem maszynowym w środowisku Databricks
Oczekiwania:
• min. 5-letnie komercyjne doświadczenie na takim samym lub podobnym stanowisku
• ekspercka wiedza i doświadczenie w pracy z platformą Databricks (Unity Catalog, obszary robocze, klastry, zadania/jobs, Databricks Asset Bundles / wdrożenia deklaratywne, separacja środowisk: dev, qa, prod)• zaawansowane umiejętności programowania w języku Python z wykorzystaniem współbieżności i równoległego przetwarzania zadań w Databricks (szczególnie w środowisku Spark)
• automatyzacja procesów CI/CD z wykorzystaniem GitHub Actions, w tym budowanie, testowanie, wdrażanie oraz bramki jakościowe (release gates)
• optymalizacja wydajności i kosztów środowisk Spark/Databricks poprzez dostrajanie klastrów, równoległe przetwarzanie i profilowanie czasu wykonywania zadań
• wdrażanie mechanizmów monitorowania i obserwowalności (logi, metryki, alerty, pulpity nawigacyjne, procedury operacyjne/runbooki, monitorowanie jakości danych)
• zarządzanie wydaniami, wersjonowanie, nadzór nad procesem wdrażania oraz strategie wycofywania zmian (rollback)
• praktyczne wykorzystanie narzędzi programistycznych wspieranych przez sztuczną inteligencję (AI) w celu zwiększenia efektywności pracy inżynierskiej
• doświadczenie w pracy z MLflow na poziomie co najmniej średniozaawansowanym, obejmujące śledzenie eksperymentów, rejestr modeli oraz zarządzanie cyklem życia modelu
Aktualnie dla naszego klienta z branży HVAC budujemy zespół ekspertów do przebudowy wewnętrznie opracowanego oprogramowania do uczenia maszynowego, służącego do prognozowania kilku tysięcy szeregów czasowych w ramach każdego cyklu przetwarzania. Celem jest stworzenie rozwiązania klasy produkcyjnej, spełniającego wysokie standardy w zakresie łatwości utrzymania, elastyczności, skalowalności i doskonałości operacyjnej.
Główne zadania:
• zbudowanie solidnych fundamentów inżynieryjnych
• automatyzacja, zapewnienie skalowalności i obserwowalności
• wdrożenie procesów wydawniczych i zarządzania cyklem życia modeli ML, aby zagwarantować niezawodne i efektywne kosztowo wdrażanie oraz eksploatację zadań związanych z danymi i uczeniem maszynowym w środowisku Databricks
Oczekiwania:
• min. 5-letnie komercyjne doświadczenie na takim samym lub podobnym stanowisku
• ekspercka wiedza i doświadczenie w pracy z platformą Databricks (Unity Catalog, obszary robocze, klastry, zadania/jobs, Databricks Asset Bundles / wdrożenia deklaratywne, separacja środowisk: dev, qa, prod)• zaawansowane umiejętności programowania w języku Python z wykorzystaniem współbieżności i równoległego przetwarzania zadań w Databricks (szczególnie w środowisku Spark)
• automatyzacja procesów CI/CD z wykorzystaniem GitHub Actions, w tym budowanie, testowanie, wdrażanie oraz bramki jakościowe (release gates)
• optymalizacja wydajności i kosztów środowisk Spark/Databricks poprzez dostrajanie klastrów, równoległe przetwarzanie i profilowanie czasu wykonywania zadań
• wdrażanie mechanizmów monitorowania i obserwowalności (logi, metryki, alerty, pulpity nawigacyjne, procedury operacyjne/runbooki, monitorowanie jakości danych)
• zarządzanie wydaniami, wersjonowanie, nadzór nad procesem wdrażania oraz strategie wycofywania zmian (rollback)
• praktyczne wykorzystanie narzędzi programistycznych wspieranych przez sztuczną inteligencję (AI) w celu zwiększenia efektywności pracy inżynierskiej
• doświadczenie w pracy z MLflow na poziomie co najmniej średniozaawansowanym, obejmujące śledzenie eksperymentów, rejestr modeli oraz zarządzanie cyklem życia modelu
🔍 Dekoder Ogłoszenia
🟡
nadajemy danym sens
Firma zajmuje się analizą danych i tworzeniem rozwiązań opartych na danych, co jest standardowym stwierdzeniem w branży IT.
🟢
stworzenie rozwiązania klasy produkcyjnej
Oczekuje się, że zbudowane rozwiązanie będzie stabilne, niezawodne i gotowe do użytku w realnych warunkach biznesowych.
🟢
doskonałość operacyjna
Wymaga się wysokiej jakości procesów operacyjnych, zarządzania i monitorowania wdrożonych rozwiązań.
🟢
ekspercka wiedza i doświadczenie w pracy z platformą Databricks
Poszukiwany jest kandydat, który nie tylko zna Databricks, ale potrafi efektywnie wykorzystywać jego zaawansowane funkcje w praktyce.
🟢
zaawansowane umiejętności programowania w języku Python z wykorzystaniem współbieżności i równoległego przetwarzania zadań w Databricks (szczególnie w środowisku Spark)
Oczekiwane jest głębokie zrozumienie i praktyczne zastosowanie technik optymalizacji wydajności kodu Pythona w kontekście dużych zbiorów danych i rozproszonych obliczeń na platformie Databricks.