Data Engineer
⚲ Warszawa
Do uzgodnienia
Wymagania
- Python
- SQL
- Spark
- Polars
- ClickHouse
- StarRocks
- Kubernetes
- GitOps
- Real-Time Bidding
- Go
Opis stanowiska
Nasze wymagania:
Bardzo dobra znajomość Pythona oraz SQL
Doświadczenie w przetwarzaniu dużych wolumenów danych z wykorzystaniem narzędzi takich jak Spark i Polars
Doświadczenie z analitycznymi bazami danych typu kolumnowego
Silne kompetencje techniczne: umiejętności programistyczne poparte zrozumieniem działania skomplikowanych systemów
Doświadczenie w pracy w sektorze operującym na dużej skali danych
Doświadczenie w projektowaniu i modelowaniu struktur danych na potrzeby zaawansowanej analityki oraz systemów działających w czasie zbliżonym do rzeczywistego
Mile widziane:
Znajomość konkretnych silników analitycznych: ClickHouse i/lub StarRocks
Znajomość Kubernetes oraz narzędzi GitOps (ArgoCD)
Doświadczenie w branży RTB (Real-Time Bidding) lub programmatic advertising
Doświadczenie w projektach z obszaru uczenia maszynowego (ML)
Znajomość języka Go (Golang)
Zakres obowiązków:
Budowa i optymalizacja procesów zasilających modele danymi.
Projektowanie oraz optymalizacja warstwy przechowywania danych, w tym schematów i indeksowania pod kątem wydajności analityki oraz systemów Real-Time.
Tworzenie warstwy obserwowalności danych wejściowych, obejmującej dashboardy i alerty wykrywające anomalie oraz spadki jakości danych zasilających modele.
Opracowywanie narzędzi do monitorowania modeli produkcyjnych, w tym wykrywania zjawiska distribution shift.
Wdrażanie praktyk CI/CD wspierających proces tworzenia, testowania i wdrażania modeli predykcyjnych.
Oferujemy:
Pracę u technologicznego lidera i partnera pierwszego wyboru – tworzymy treści, usługi i rozrywkę, które towarzyszą milionom Polaków każdego dnia
Darmowy dostęp do naszych produktów, takich jak Pilot WP czy Audioteka -chcemy, żebyś czuł się częścią tego, co tworzymy ❤️
Worksmile i elastyczny pakiet benefitów - to Ty wybierasz, co jest dla Ciebie ważne
Dostęp do bezpłatnych i anonimowych konsultacji psychologicznych
Możliwość pracy hybrydowej - pracujemy 3 dni w biurze oraz 2 dni z domu łącząc swobodę pracy zdalnej z tym, co najlepsze w biurze
Wydarzenia, które zbliżają - od sezonowych akcji (Dzień Dziecka to nasz ulubieniec!) po webinary o zdrowiu i neuroróżnorodności
Możliwość rozwoju dzięki szkoleniom w ramach programu WP Akademia
Szansę na nowe wyzwania i kierunki w ramach spółek WP Holding - wewnętrzne rekrutacje są na wyciągnięcie ręki
Bardzo dobra znajomość Pythona oraz SQL
Doświadczenie w przetwarzaniu dużych wolumenów danych z wykorzystaniem narzędzi takich jak Spark i Polars
Doświadczenie z analitycznymi bazami danych typu kolumnowego
Silne kompetencje techniczne: umiejętności programistyczne poparte zrozumieniem działania skomplikowanych systemów
Doświadczenie w pracy w sektorze operującym na dużej skali danych
Doświadczenie w projektowaniu i modelowaniu struktur danych na potrzeby zaawansowanej analityki oraz systemów działających w czasie zbliżonym do rzeczywistego
Mile widziane:
Znajomość konkretnych silników analitycznych: ClickHouse i/lub StarRocks
Znajomość Kubernetes oraz narzędzi GitOps (ArgoCD)
Doświadczenie w branży RTB (Real-Time Bidding) lub programmatic advertising
Doświadczenie w projektach z obszaru uczenia maszynowego (ML)
Znajomość języka Go (Golang)
Zakres obowiązków:
Budowa i optymalizacja procesów zasilających modele danymi.
Projektowanie oraz optymalizacja warstwy przechowywania danych, w tym schematów i indeksowania pod kątem wydajności analityki oraz systemów Real-Time.
Tworzenie warstwy obserwowalności danych wejściowych, obejmującej dashboardy i alerty wykrywające anomalie oraz spadki jakości danych zasilających modele.
Opracowywanie narzędzi do monitorowania modeli produkcyjnych, w tym wykrywania zjawiska distribution shift.
Wdrażanie praktyk CI/CD wspierających proces tworzenia, testowania i wdrażania modeli predykcyjnych.
Oferujemy:
Pracę u technologicznego lidera i partnera pierwszego wyboru – tworzymy treści, usługi i rozrywkę, które towarzyszą milionom Polaków każdego dnia
Darmowy dostęp do naszych produktów, takich jak Pilot WP czy Audioteka -chcemy, żebyś czuł się częścią tego, co tworzymy ❤️
Worksmile i elastyczny pakiet benefitów - to Ty wybierasz, co jest dla Ciebie ważne
Dostęp do bezpłatnych i anonimowych konsultacji psychologicznych
Możliwość pracy hybrydowej - pracujemy 3 dni w biurze oraz 2 dni z domu łącząc swobodę pracy zdalnej z tym, co najlepsze w biurze
Wydarzenia, które zbliżają - od sezonowych akcji (Dzień Dziecka to nasz ulubieniec!) po webinary o zdrowiu i neuroróżnorodności
Możliwość rozwoju dzięki szkoleniom w ramach programu WP Akademia
Szansę na nowe wyzwania i kierunki w ramach spółek WP Holding - wewnętrzne rekrutacje są na wyciągnięcie ręki
🔍 Dekoder Ogłoszenia
🔴
Silne kompetencje techniczne: umiejętności programistyczne poparte zrozumieniem działania skomplikowanych systemów
Oczekuje się nie tylko umiejętności kodowania, ale także głębokiego zrozumienia architektury i mechanizmów działania systemów, co może oznaczać pracę z trudną lub przestarzałą technologią.
🟡
Doświadczenie w pracy w sektorze operującym na dużej skali danych
Może oznaczać pracę z danymi, które są po prostu duże, ale niekoniecznie wymagają zaawansowanych technik przetwarzania, lub też pracę w dziale, gdzie dane są generowane w dużych ilościach, ale ich analiza jest podstawowa.
🟡
Doświadczenie w projektowaniu i modelowaniu struktur danych na potrzeby zaawansowanej analityki oraz systemów działających w czasie zbliżonym do rzeczywistego
Może oznaczać projektowanie baz danych dla typowych zastosowań analitycznych, a niekoniecznie ekstremalnie złożonych systemów czasu rzeczywistego.
🟡
Budowa i optymalizacja procesów zasilających modele danymi.
Może oznaczać głównie utrzymanie istniejących potoków danych i rozwiązywanie bieżących problemów, a nie tworzenie innowacyjnych rozwiązań od podstaw.
🟡
Wdrażanie praktyk CI/CD wspierających proces tworzenia, testowania i wdrażania modeli predykcyjnych.
Może oznaczać jedynie podstawowe wdrożenie narzędzi CI/CD, a nie zaawansowane, zautomatyzowane procesy obejmujące cały cykl życia modelu.