Senior / Software Architect – Databricks

Senior / Software Architect – Databricks 💰 Stawka: 175–195 PLN/h (B2B) 📍 Tryb pracy: 100% zdalnie z Polski 🌍 Branża: lotnicza 🗣️ Język: angielski B2/C1 ✈️ O projekcie: Dołączysz do międzynarodowego projektu w sektorze lotniczym, gdzie budowany jest system do monitorowania i analizy pracy silników lotniczych. System zbiera dane telemetryczne z pracy silników, przetwarza je w czasie rzeczywistym i wspiera podejmowanie decyzji poprzez analizy trendów i wizualizacje. Obecnie rozwijana jest platforma typu agentic data processing, gdzie modele ML i komponenty analityczne działają jako współpracujący „agenci” podejmujący decyzje w oparciu o dane. 🧩 Twoja rola: Będziesz odpowiadać za architekturę całego rozwiązania opartego o Databricks – od danych, przez ML, po warstwę operacyjną. Co będziesz robić: • Projektować architekturę end-to-end w oparciu o Databricks (Lakehouse + ML) • Budować pipeline’y danych w czasie rzeczywistym (Structured Streaming, Delta Lake) • Zarządzać cyklem życia modeli (MLflow, monitoring, retraining, A/B testy) • Tworzyć rozwiązania low-latency do serwowania modeli (auto-scaling, routing) • Wdrażać governance i bezpieczeństwo danych (Unity Catalog, compliance) • Optymalizować wydajność i koszty (autoscaling, monitoring, spot usage) • Definiować procesy wdrożeniowe (blue-green, alerting, runbooki) • Współpracować z zespołami engineering / MLOps / product • Wspierać tworzenie dashboardów i workflowów human-in-the-loop • Koordynować wdrożenie rozwiązania (etapy, ryzyka, metryki sukcesu) 🛠️ Technologie w projekcie: • Chmura: Azure Databricks (rekomendowane) lub AWS Databricks z natywną integracją tożsamości (Azure AD / AWS IAM). • Platforma Databricks: Runtime ML, Mosaic AI, Model Serving, MLflow, Unity Catalog, Delta Lake, Feature Store, AutoML, Databricks Workflows, Databricks SQL. • Przetwarzanie danych: Structured Streaming do pipeline’ów czasu rzeczywistego oraz Delta Lake do przechowywania danych w modelu ACID, z funkcją time travel i wysoką niezawodnością. • Języki i API: Python z natywnymi bibliotekami Databricks, REST API Databricks oraz SDK. • Frontend: Dashboard oparty o React, zintegrowany z Databricks SQL do monitoringu oraz obsługi procesów typu human-in-the-loop. • Bezpieczeństwo i zgodność: Szyfrowanie danych w trakcie przesyłu i w spoczynku, zarządzanie danymi klasy enterprise z wykorzystaniem Unity Catalog oraz zgodność ze standardami SOC 2 i GDPR. • Monitoring i operacje: Natywne narzędzia monitoringu Databricks, własne alerty, dashboardy wydajności oraz frameworki do testów A/B. • Deployment i MLOps: Endpointy modeli z autoskalowaniem, MLflow Model Registry, zautomatyzowane pipeline’y do ponownego trenowania modeli oraz wdrożenia typu blue-green. ✅ Wymagania: • Doświadczenie jako architekt w środowisku Databricks Lakehouse • Znajomość: Delta Lake, MLflow, Unity Catalog, Model Serving, Feature Store • Praktyka w budowie systemów real-time / low-latency (ML serving) • Mocne kompetencje w MLOps (monitoring, wersjonowanie, retraining) • Doświadczenie z chmurą (Azure lub AWS) i bezpieczeństwem danych • Bardzo dobra znajomość Pythona • Umiejętność pracy z API i budowy rozwiązań end-to-end • Doświadczenie w optymalizacji kosztów i wydajności systemów • Praca przy dużych systemach produkcyjnych (enterprise scale) 📍Mile widziane: • Doświadczenie z telemetry / time-series / danymi przemysłowymi • Znajomość Mosaic AI i podejścia agentowego • Certyfikaty Databricks 📋 Proces rekrutacyjny: • Rozmowa HR + weryfikacja angielskiego • Rozmowa techniczna • Decyzja Co oferujemy: • 💰 Atrakcyjne wynagrodzenie  • 🏠Możliwość współpracy 100% zdalnie z Polski • 🌍 Projekt dla międzynarodowego klienta (sektor lotniczy) • 🧠 Praca przy zaawansowanych systemach AI/ML i danych czasu rzeczywistego • 🚀 Duży wpływ na architekturę i decyzje technologiczne • 🏗️ Nowoczesny stack (Databricks, MLflow, Delta Lake, Mosaic AI) • 🤝 Współpraca z międzynarodowym zespołem • 📈 Rozwój w obszarze Data/ML/Architektury