Corporate Senior Data Platform Engineer f/m
Medicover
⚲ Warszawa, Poznań, Wrocław, Łódź, Białystok
Wymagania
- ANSI‑SQL
- ETL/ELT
- Spark Declarative Pipelines
- LLM/AI
- Python
- Azure Databricks Lakehouse
- Declarative Automation Bundles
Opis stanowiska
• Forma współpracy: Kontrakt Gospodarczy (B2B) • Model pracy: praca hybrydowa (możliwość 100% pracy zdalnej) • Rekrutacja: 100% zdalna • English: B2-C1 • Doświadczenie: minimum 5 lat Zakres zadań na tym stanowisku będzie obejmował: • Projektowanie i wdrażanie nowych rozwiązań w ramach dużej platformy danych opartej na technologii Azure Databricks • Tworzenie i optymalizacja kodu SQL i Python w celu zapewnienia efektywnego przetwarzania w środowisku chmurowym platformy danych • Budowanie przepływów danych zgodnie z aktualnym frameworkiem oraz wymaganiami funkcjonalnymi i niefunkcjonalnymi • Opracowywanie i wdrażanie procesów oraz najlepszych praktyk w zakresie zarządzania i nadzoru nad danymi • Optymalizacja i usprawnianie konfiguracji systemu oraz poprawa struktur danych zgodnie z najlepszymi praktykami branżowymi • Współpraca z administratorami systemu w celu identyfikacji i projektowania optymalnych interfejsów do komunikacji z platformą danych w środowisku chmurowym • Efektywna współpraca z zespołem inżynierów danych oraz ścisła współpraca z analitykami i architektem platformy danych Nasze oczekiwania: • Minimum 5-letnie doświadczenie w pracy w środowisku chmurowym na stanowiskach inżyniera danych, programisty lub pokrewne • Bardzo dobra znajomość języków Python oraz ANSI‑SQL • Praktyczna znajomość Azure Databricks Lakehouse poparta doświadczeniem w pracy z tą technologią • Doświadczenie w korzystaniu z dostępnych konektorów Databricks do integracji systemów źródłowych (np. REST API, JDBC, SaaS, pliki). • Doświadczenie w pracy z przetwarzaniem strumieniowym (Structured Streaming, Auto Loader) • Umiejętność projektowania i orkiestracji złożonych pipelinów danych (ETL/ELT) w architekturze medalionu w ramach platform danych z wykorzystaniem Databricks i/lub Azure Data Factory • Znajomość zasad data governance i security w platformach danych (np. Unity Catalog, RBAC, zarządzanie dostępami) • Znajomość przetwarzania rozproszonego i optymalizacji Spark (tuning zapytań, zarządzanie plikami, liquid clustering, Z-ORDER, OPTIMIZE/VACUUM) • Doświadczenie w pracy ze Spark Declarative Pipelines (definiowanie zależności, zarządzanie DAG, integracja z pipeline’ami danych) • Znajomość Declarative Automation Bundles lub podobnych podejść do zarządzania deploymentem • Wykorzystanie modeli LLM/AI do generowania kodu dla transformacji i pobierania danych w Databricks • Znajomość jęz. angielskiego umożliwiająca prowadzenie spotkań biznesowych oraz tworzenia dokumentacji min. B2. • Doświadczenie w pracy z dokumentacją projektową. • Dokładność i proaktywna postawa w realizacji powierzonych zadań (proponowanie rozwiązań i scenariuszy) Oferujemy: • Zatrudnienie w oparciu o umowę B2B. • Elastyczna forma pracy (stacjonarna, zdalna lub hybrydowa) – dostęp naszego nowoczesnego biura w Warszawie przy Alejach Jerozolimskich 96. • Udział w strategicznym projekcie w Medicover opartym o najnowsze rozwiązania chmurowe Microsoft oraz Databricks. • Będziesz miała/miał realny wpływ na kształt budowanego rozwiązania. • Międzynarodowe środowisko pracy (Twoi współpracownicy pracują m.in. w Niemczech, Rumunii, Norwegii, Szwecji, Indiach). • Pracę z zespołem ekspertów – analityków, QA, DevOps, Architekt, którzy wnoszą wysokiej jakości materiały, na których będziesz mógł polegać w projektach DATA. Lokalizacja: Warszawa, Biuro Główne, Al. Jerozolimskie 96