Data Engineer

Wymagania: - 2-5 lat doświadczenia w roli Data Engineer - Bardzo dobra znajomość SQL + praktyka programowania w Python (ETL, integracje, automatyzacja) - Doświadczenie z przetwarzaniem dużych wolumenów danych i narzędziami klasy Spark (lub równoważne): mile widziane Kafka/streaming - Praktyka w środowisku Linux (on-prem) oraz rozumienie ograniczeń i obowiązków wynikających z self-hosted - Dobre praktyki inżynierskie: Git, code review, testy, logowanie/monitoring, dokumentacja techniczna - Umiejętność projektowania struktur danych - Współpraca przy ML/AI: zrozumienie potrzeb danych dla treningu/inferencji (reprodukowalność, wersjonowanie datasetów) - Angielski na poziomie komunikatywnym (min. B2) Mile widziane: - Orkiestracja workflow (np. Airflow lub równoważne), CI/CD, Docker/Kubernetes - Doświadczenie z obiektowym storage (MinIO) i projektowaniem Data Lake bez "gotowego" stacku (dobór narzędzi, standardów, wzorców) - Narzędzia MLOps (np. MLflow), data/model versioning, obserwowalność danych dla modeli - Doświadczenie w budowaniu rozwiązań typu data warehouse/lake i ich produkcyjnego utrzymania - Doświadczenie w pracy z systemami o wysokiej dostępności - Znajomość technik bezpiecznego przechowywania danych: szyfrowanie at rest, in transit - Doświadczenie w pracy w sektorze lotniczym, a szczególnie przy systemach związanych z kontrolą ruchu lutniczego O firmie: - Polska Agencja Żeglugi Powietrznej (PANSA) zarządza przestrzenią powietrzną w Polsce. Zapewniamy płynność ruchu lotniczego oraz niezawodność infrastruktury lotniczej. Kontrolerzy Ruchu Lotniczego czuwają nad lotami setek tysięcy pasażerów każdego dnia. ​ - Bezpieczeństwo pozostaje naszym najważniejszym celem. - W PANSA tworzymy zespół profesjonalistów, którzy łączą wiedzę, doświadczenie i pasję, aby każdego dnia podnosić standardy naszej pracy. Stawiamy na innowacyjność technologii. Inwestujemy w rozwój i dobrostan naszych pracowników, oferując szkolenia, dostęp do zaawansowanych technologii oraz możliwość udziału w międzynarodowych projektach.Dołączając do nas, stajesz się częścią organizacji, która ma realny wpływ na rozwój lotnictwa w Polsce i na świecie.Zapraszamy do wspólnego kształtowania przyszłości lotnictwa! Zakres obowiązków: - Projektowanie i rozwijanie protokołów ETL/ELT (batch + ewentualnie streaming) z systemów źródłowych do Data Lake, opartych na narzędziach orkiestracji typu Airflow/Kubeflow/równoważne, również w systemach distributed computing - Współtworzenie fundamentów Data Lake: warstwy danych (raw/processsed/curated), standardy nazewnictwa i partycjonowania, schematy i kontrakty danych, podejście do wersjonowania - Implementacja i utrzymanie integracji danych oraz automatyzacja uruchomień - Zapewnienie jakości i niezawodności danych - Przygotowanie danych pod ML/AI: budowa zbiorów trening/valid/test, pipeline'y przygotowania cech, współpraca przy potokach treningu i inferencji oraz integracji danych z usługami ML/AI - Praca w realiach self-hosted: optymalizacja wydajności, kosztów zasobów, stabilność i bezpieczeństwo - Współpraca z zespołami BI/ML/AI/produktowymi: doprecyzowanie potrzeb, definicji KPI i priorytetów backlogu danych Oferujemy: - Umowa o pracę - Hybrydowy system pracy - Pracę w kilkuosobowym zespole - Merytoryczne wsparcie na każdym etapie wdrożenia - Bogaty pakiet medyczny w Luxmed (w tym stomatologię) - Pakiet Multisport - Możliwość korzystania z Ośrodka Sportu znajdującego się na terenie Agencji - Dyżury lekarza w przychodni znajdującej się w naszej siedzibie - Bezpłatny parking dla pracowników - Dofinansowanie do wypoczynku - Dofinansowanie do biletów do kina, teatru, na koncerty dla pracowników i członków rodziny - Dofinansowanie do edukacji dzieci - Dofinansowanie do kursów/szkoleń - Dodatkowe ubezpieczenie - Pracowniczy Program Emerytalny - Pakiet świadczeń z Zakładowego Funduszu Świadczeń Socjalnych