Data Engineer (AI & Data Platforms)
⚲ Warszawa, Gdańsk, Gdynia
20 000 - 24 000 PLN netto (B2B)
Wymagania
- Kafka
- SQL
- Kubernetes
- Spark
- Flink
- LLM
- GenAI
Opis stanowiska
O projekcie:
Dołączysz do zespołu rozwijającego nowoczesną platformę odpowiedzialną za standaryzację oraz dostarczanie danych pomiędzy różnymi domenami biznesowymi w organizacji. Projekt koncentruje się na budowie i rozwoju frameworku do transformacji danych źródłowych do ustandaryzowanych formatów wykorzystywanych przez downstreamowe produkty danych
Twój zakres obowiązków:
• Budowa i rozwój pipeline’ów transformujących dane do ustandaryzowanych formatów
• Tworzenie i rozwój logiki transformacji danych w SQL
• Rozwój AI-assisted workflows wspierających zespoły engineeringowe
• Implementacja AI quality gates oraz automatyzacji opartych o LLM
• Integracja rozwiązań AI/LLM z procesami CI/CD
• Zarządzanie lifecycle’em schematów danych oraz compatibility validation
• Współpraca z architektami i zespołami platformowymi przy rozwoju frameworku danych
Nasze wymagania:
• Doświadczenie w obszarze Data Engineering
• Bardzo dobra znajomość: Kafka, SQL, Spark lub Flink
• Doświadczenie w pracy z Kubernetes
• Wiedza i praktyczne doświadczenie związane z: LLM, GenAI, AI-assisted engineering workflows
• Doświadczenie w projektowaniu i rozwijaniu pipeline’ów danych
• Znajomość języka angielskiego m.in. B2
Dołączysz do zespołu rozwijającego nowoczesną platformę odpowiedzialną za standaryzację oraz dostarczanie danych pomiędzy różnymi domenami biznesowymi w organizacji. Projekt koncentruje się na budowie i rozwoju frameworku do transformacji danych źródłowych do ustandaryzowanych formatów wykorzystywanych przez downstreamowe produkty danych
Twój zakres obowiązków:
• Budowa i rozwój pipeline’ów transformujących dane do ustandaryzowanych formatów
• Tworzenie i rozwój logiki transformacji danych w SQL
• Rozwój AI-assisted workflows wspierających zespoły engineeringowe
• Implementacja AI quality gates oraz automatyzacji opartych o LLM
• Integracja rozwiązań AI/LLM z procesami CI/CD
• Zarządzanie lifecycle’em schematów danych oraz compatibility validation
• Współpraca z architektami i zespołami platformowymi przy rozwoju frameworku danych
Nasze wymagania:
• Doświadczenie w obszarze Data Engineering
• Bardzo dobra znajomość: Kafka, SQL, Spark lub Flink
• Doświadczenie w pracy z Kubernetes
• Wiedza i praktyczne doświadczenie związane z: LLM, GenAI, AI-assisted engineering workflows
• Doświadczenie w projektowaniu i rozwijaniu pipeline’ów danych
• Znajomość języka angielskiego m.in. B2
🔍 Dekoder Ogłoszenia
🔴
nowoczesną platformę odpowiedzialną za standaryzację oraz dostarczanie danych pomiędzy różnymi domenami biznesowymi w organizacji
Może oznaczać skomplikowany, monolityczny system z wieloma zależnościami, a niekoniecznie elastyczne, modułowe rozwiązanie.
🔴
budowie i rozwoju frameworku do transformacji danych źródłowych do ustandaryzowanych formatów
Może oznaczać pracę nad podstawową infrastrukturą, która jest jeszcze w fazie rozwoju i może wymagać znaczących zmian.
🔴
Rozwój AI-assisted workflows wspierających zespoły engineeringowe
Może oznaczać eksperymentowanie z narzędziami AI, które nie są jeszcze w pełni dojrzałe lub zintegrowane z procesami.
🔴
Implementacja AI quality gates oraz automatyzacji opartych o LLM
Może oznaczać pracę nad nowymi, potencjalnie niestabilnymi mechanizmami kontroli jakości opartymi na technologiach, które wciąż ewoluują.
🔴
Zarządzanie lifecycle’em schematów danych oraz compatibility validation
Może oznaczać konieczność radzenia sobie z problemami związanymi z ewolucją schematów danych i zapewnieniem kompatybilności wstecznej w złożonym ekosystemie.