Mid / Mid+ Data Engineer (Python)

O projekcie:
Szukamy Mid / Mid+ Data Engineera, który dołączy do zespołu rozwijającego platformę Feature Store – rozwiązanie odpowiedzialne za obliczanie, przechowywanie i udostępnianie cech wykorzystywanych przez modele uczenia maszynowego.

Będziesz pracować nad rozwojem produkcyjnej platformy danych, budując i optymalizując pipeline'y przetwarzające duże wolumeny informacji. Projekty obejmują m.in. pobieranie danych z hurtowni analitycznych, przetwarzanie rozproszone, przygotowywanie i przechowywanie danych oraz udostępnianie ich systemom i modelom ML.

Głównym językiem programowania jest Python, a w codziennej pracy wykorzystujemy technologie takie jak PySpark, Polars, Airflow, ClickHouse, Delta Lake czy Apache Iceberg. W wybranych komponentach korzystamy również z Golanga.

To rola dla osoby, która dobrze zna Pythona, ma doświadczenie w przetwarzaniu dużych zbiorów danych i chce rozwijać praktyczne, produkcyjne rozwiązania na styku Data Engineering i Machine Learning.

Technologie, z którymi możesz pracować- Python- PySpark / Apache Spark- Polars- SQL- ClickHouse / StarRocks- Delta Lake / Apache Iceberg / Parquet- Airflow / Argo Workflows- Redis- Docker / Kubernetes- Django- Golang- Git / CI/CD- Google Cloud Platform / Microsoft Azure- Narzędzia AI dla developerów: Claude Code, Cursor, Codex, Gemini CLI, GitHub Copilot lub podobneKogo szukamy
Szukamy osoby na poziomie mid / mid+, która:
- ma praktyczne doświadczenie w pracy z Pythonem i przetwarzaniem dużych zbiorów danych;- potrafi samodzielnie projektować, budować i rozwijać pipeline'y danych;- rozumie, że dobry pipeline to nie tylko działający kod, ale też poprawność danych, wydajność, idempotentność i utrzymywalność;- potrafi dobierać narzędzia i podejście do skali oraz charakteru przetwarzanych danych;- dobrze odnajduje się w pracy z istniejącymi systemami i potrafi rozwijać je bez pogarszania ich jakości;- potrafi analizować problemy techniczne i szukać prostych, skutecznych rozwiązań;- ma nastawienie „can-do” i bierze odpowiedzialność za dowożone zadania;- zwraca uwagę na jakość kodu, dobre praktyki i sensowną architekturę danych;- jest otwarta na nowe technologie i nie boi się pracy z narzędziami, których wcześniej nie znała;- nie boi się sięgnąć po Golanga, gdy wymaga tego zadanie;- potrafi rozmawiać z użytkownikami platformy, zrozumieć ich problemy i pomóc w znalezieniu rozwiązania;- chce korzystać z narzędzi AI wspierających programowanie i jest otwarta na agentowe podejście do developmentu;- dobrze współpracuje z zespołem technicznym, data science i produktowym;- odpowiada jej praca w modelu hybrydowym.Co oferujemy- Pracę przy rozwoju produkcyjnej platformy Feature Store.- Udział w projektach z obszaru AdTech i e-commerce, na styku inżynierii danych i uczenia maszynowego.- Pracę z dużymi wolumenami danych i technologiami big data.- Możliwość rozwijania istniejących systemów oraz budowania nowych komponentów od zera.- Współpracę z doświadczonym zespołem technologicznym i data science.- Możliwość wpływu na architekturę danych, wybór rozwiązań technicznych i jakość kodu.- Pracę z nowoczesnym ekosystemem przetwarzania danych, m.in. Spark, Polars, Delta Lake, Iceberg i ClickHouse.- Przestrzeń do proponowania usprawnień technicznych i optymalizacji istniejących rozwiązań.- Możliwość korzystania z nowoczesnych narzędzi AI wspierających programowanie.- Możliwość rozwoju w kierunku Senior Data Engineera, ML Platform Engineera, Tech Leada lub Architekta Danych.

Wymagania:
Obowiązkowe:
- Bardzo dobra znajomość Pythona.- Doświadczenie w budowaniu, rozwijaniu i utrzymywaniu produkcyjnych pipeline'ów danych.- Praktyczna znajomość PySpark lub innego narzędzia do przetwarzania rozproszonego.- Bardzo dobra znajomość SQL.- Doświadczenie w przetwarzaniu dużych zbiorów danych, w tym wolumenów przekraczających dostępną pamięć operacyjną.- Znajomość narzędzi do orkiestracji przepływów danych, np. Airflow lub Argo Workflows.- Praktyczna znajomość Git i Dockera.- Znajomość dobrych praktyk projektowania i rozwijania pipeline'ów danych.- Umiejętność pisania czytelnego, testowalnego i utrzymywalnego kodu.- Umiejętność debugowania i analizowania problemów technicznych.- Samodzielność w realizacji zadań i odpowiedzialność za dostarczane rozwiązania.- Nastawienie na rozwiązywanie problemów i szukanie praktycznych rozwiązań.- Dbałość o jakość kodu, poprawność danych i stosowanie dobrych praktyk developerskich.- Otwartość na kontakt z użytkownikami platformy, rozumienie ich potrzeb i wspieranie ich w korzystaniu z rozwijanych rozwiązań.- Chęć ciągłego rozwoju i poznawania nowych technologii.- Komunikatywność w języku polskim.- Gotowość do pracy w trybie hybrydowym.

Mile widziane:
- Doświadczenie z formatami i technologiami lakehouse, np. Delta Lake lub Apache Iceberg.- Znajomość biblioteki Polars.- Doświadczenie z analitycznymi bazami danych, np. ClickHouse lub StarRocks.- Znajomość Redis lub innych rozwiązań wykorzystywanych do szybkiego udostępniania danych.- Znajomość Golanga.- Doświadczenie z frameworkiem Django lub budową usług backendowych wspierających platformy danych.- Doświadczenie z platformami Feature Store, np. Feast, Tecton lub Hopsworks.- Znajomość zagadnień MLOps i przygotowywania danych na potrzeby modeli Machine Learning.- Znajomość narzędzi do rozproszonego przetwarzania danych i zarządzania zadaniami obliczeniowymi, np. Ray lub Kubeflow.- Doświadczenie z systemami kolejkowymi i streamingiem danych, np. Kafka.- Doświadczenie z Kubernetes i środowiskami chmurowymi, np. GCP lub Azure.- Doświadczenie z CI/CD i automatyzacją procesów developerskich.- Doświadczenie w pisaniu testów jednostkowych, integracyjnych i testów jakości danych.- Umiejętność pracy z narzędziami monitoringu, logowania i obserwowalności.- Umiejętność efektywnej pracy z narzędziami AI wspierającymi programowanie, np. Claude Code, Cursor, Codex, Gemini CLI, GitHub Copilot lub podobnymi.- Otwartość na podejście agentowego kodowania i automatyzację części zadań developerskich.

Codzienne zadania:
- Projektowanie, rozwój i utrzymanie platformy Feature Store.
- Budowa i rozwój pipeline'ów przetwarzania danych w Pythonie.
- Przetwarzanie dużych wolumenów danych z wykorzystaniem narzędzi takich jak PySpark i Polars.
- Integracja z hurtowniami danych i systemami analitycznymi.
- Przygotowywanie i przechowywanie danych w formatach wykorzystywanych w architekturach data lake i lakehouse.
- Orkiestracja i automatyzacja przepływów danych.
- Rozwój komponentów i usług wspierających platformę danych.
- Przygotowywanie i udostępnianie cech wykorzystywanych przez modele ML, w tym w scenariuszach online.
- Optymalizacja wydajności, kosztów i skalowalności procesów przetwarzania danych.
- Dbanie o jakość, poprawność i spójność danych, w tym walidację, obsługę schematów i idempotentność procesów.
- Debugowanie, analiza błędów i rozwiązywanie problemów technicznych.
- Praca z konteneryzacją i środowiskami uruchomieniowymi opartymi o Docker i Kubernetes.
- Dbanie o jakość kodu, testowalność i utrzymywalność rozwiązań.
- Udział w projektowaniu architektury danych i rozwiązań technicznych.
- Współpraca z data scientistami, ML engineerami, backend developerami, architektami i product ownerami.
- Współpraca z użytkownikami platformy, wsparcie w rozwiązywaniu problemów oraz konsultowanie sposobu wykorzystania dostępnych rozwiązań.
- Udział w estymacji zadań, code review i planowaniu prac projektowych.
- Korzystanie z narzędzi AI wspierających programowanie i automatyzację pracy developerskiej.