Data Engineer

Nasze wymagania: 2-5 lat doświadczenia w roli Data Engineer Bardzo dobra znajomość SQL + praktyka programowania w Python (ETL, integracje, automatyzacja) Doświadczenie z przetwarzaniem dużych wolumenów danych i narzędziami klasy Spark (lub równoważne): mile widziane Kafka/streaming Praktyka w środowisku Linux (on-prem) oraz rozumienie ograniczeń i obowiązków wynikających z self-hosted Dobre praktyki inżynierskie: Git, code review, testy, logowanie/monitoring, dokumentacja techniczna Umiejętność projektowania struktur danych Współpraca przy ML/AI: zrozumienie potrzeb danych dla treningu/inferencji (reprodukowalność, wersjonowanie datasetów) Angielski na poziomie komunikatywnym (min. B2) Mile widziane: Orkiestracja workflow (np. Airflow lub równoważne), CI/CD, Docker/Kubernetes Doświadczenie z obiektowym storage (MinIO) i projektowaniem Data Lake bez "gotowego" stacku (dobór narzędzi, standardów, wzorców) Narzędzia MLOps (np. MLflow), data/model versioning, obserwowalność danych dla modeli Doświadczenie w budowaniu rozwiązań typu data warehouse/lake i ich produkcyjnego utrzymania Doświadczenie w pracy z systemami o wysokiej dostępności Znajomość technik bezpiecznego przechowywania danych: szyfrowanie at rest, in transit Doświadczenie w pracy w sektorze lotniczym, a szczególnie przy systemach związanych z kontrolą ruchu lutniczego Zakres obowiązków: Projektowanie i rozwijanie protokołów ETL/ELT (batch + ewentualnie streaming) z systemów źródłowych do Data Lake, opartych na narzędziach orkiestracji typu Airflow/Kubeflow/równoważne, również w systemach distributed computing Współtworzenie fundamentów Data Lake: warstwy danych (raw/processsed/curated), standardy nazewnictwa i partycjonowania, schematy i kontrakty danych, podejście do wersjonowania Implementacja i utrzymanie integracji danych oraz automatyzacja uruchomień Zapewnienie jakości i niezawodności danych Przygotowanie danych pod ML/AI: budowa zbiorów trening/valid/test, pipeline'y przygotowania cech, współpraca przy potokach treningu i inferencji oraz integracji danych z usługami ML/AI Praca w realiach self-hosted: optymalizacja wydajności, kosztów zasobów, stabilność i bezpieczeństwo Współpraca z zespołami BI/ML/AI/produktowymi: doprecyzowanie potrzeb, definicji KPI i priorytetów backlogu danych Oferujemy: Umowa o pracę Hybrydowy system pracy Pracę w kilkuosobowym zespole Merytoryczne wsparcie na każdym etapie wdrożenia Bogaty pakiet medyczny w Luxmed (w tym stomatologię) Pakiet Multisport Możliwość korzystania z Ośrodka Sportu znajdującego się na terenie Agencji Dyżury lekarza w przychodni znajdującej się w naszej siedzibie Bezpłatny parking dla pracowników Dofinansowanie do wypoczynku Dofinansowanie do biletów do kina, teatru, na koncerty dla pracowników i członków rodziny Dofinansowanie do edukacji dzieci Dofinansowanie do kursów/szkoleń Dodatkowe ubezpieczenie Pracowniczy Program Emerytalny Pakiet świadczeń z Zakładowego Funduszu Świadczeń Socjalnych