IngestOps Engineer Data Engineer (f/m)
⚲ Warszawa, Gdańsk, Łódź, Gdynia
Do uzgodnienia
Wymagania
- bardzo dobra znajomość Linux (analiza logów, operacje na plikach, monitoring, narzędzia CLI)
- bardzo dobra znajomość SQL (joins, agregacje, procedury składowane, optymalizacja wydajności)
- doświadczenie w budowie lub utrzymaniu procesów ingestii i integracji danych
- praktyczna znajomość walidacji, czyszczenia i transformacji danych
- doświadczenie w pracy z dużymi wolumenami danych
- angielski wystarczający do komunikacji w międzynarodowym projekcie
- samodzielność, odpowiedzialność i silne umiejętności rozwiązywania problemów
Mile widziane
- znajomość Pythona
Opis stanowiska
Rola łącząca Data Engineering z utrzymaniem operacyjnym środowisk przetwarzania danych — budowa i utrzymanie procesów ingestii, walidacja i transformacja danych, monitorowanie pipeline'ów i rozwiązywanie problemów operacyjnych w środowisku Linux. Uwaga: to stanowisko IngestOps, czyli połączenie Data Engineera z obowiązkami DevOps/Operations — możesz być odpowiedzialny za bieżące utrzymanie systemów i samodzielne rozwiązywanie problemów, w tym poza standardowymi godzinami. Dobra oferta dla osoby samodzielnej, która lubi pracę operacyjną i analizę logów.
🔍 Dekoder Ogłoszenia
🔴
IngestOps Engineer Data Engineer
Połączenie ról Data Engineera z obowiązkami DevOps/Operations, co może oznaczać większy zakres odpowiedzialności niż typowy Data Engineer.
🔴
operational maintenance of data-processing environments
Oznacza, że będziesz odpowiedzialny nie tylko za budowanie, ale także za bieżące utrzymanie i rozwiązywanie problemów w działających systemach.
🔴
Analyse logs and perform daily operations in a Linux environment
Może oznaczać rutynowe, powtarzalne zadania związane z monitorowaniem i reagowaniem na alerty, a nie tylko zaawansowaną analizę.
🔴
Identify performance bottlenecks and improve data-processing efficiency
Choć brzmi jak praca optymalizacyjna, może oznaczać głównie reagowanie na istniejące problemy wydajnościowe, a nie proaktywne projektowanie wysoce wydajnych rozwiązań.
🔴
Independence, accountability
W kontekście operacyjnym może oznaczać, że będziesz musiał samodzielnie rozwiązywać problemy, często poza standardowymi godzinami pracy, bez natychmiastowego wsparcia.