Data Engineer
⚲ Warszawa
165 - 165 zł netto (+ VAT)
Wymagania
- doświadczenie w projektowaniu i implementacji procesów ETL/ELT
- doświadczenie w przetwarzaniu danych wsadowych lub strumieniowych
- bardzo dobra znajomość SQL
- znajomość co najmniej jednego języka programowania lub skryptowego, np. Python
- znajomość architektury hurtowni danych oraz rozwiązań Data Lake / Lakehouse
- znajomość orkiestracji procesów i monitoringu przetwarzania danych
- doświadczenie w optymalizacji zapytań i procesów przetwarzania danych
Mile widziane
- doświadczenie z platformami chmurowymi oraz narzędziami CI/CD w inżynierii danych
Opis stanowiska
Stanowisko Data Engineer w Scalo, firmie software house realizującej projekty dla klientów zewnętrznych — realnie trafisz do projektu data/ETL dla konkretnego klienta, a nie do pracy nad jednym wewnętrznym produktem. Zakres obejmuje cały cykl: projektowanie przepływów, implementację ETL/ELT, walidację i jakość danych, orkiestrację, monitoring oraz optymalizację SQL i wydajności. To dobra oferta dla samodzielnego inżyniera danych, który lubi pracować end-to-end i współpracować z analitykami, architektami i zespołami utrzymaniowymi. Uwaga: opis mówi o 'projektowaniu, budowie i utrzymaniu' — możesz odpowiadać za cały cykl życia rozwiązania, od koncepcji po bieżące wsparcie, co bywa czasochłonne; podobnie 'obsługa dużych wolumenów' nie precyzuje skali (GB vs TB/PB).
🔍 Dekoder Ogłoszenia
🔴
doświadczenie w projektowaniu i implementacji procesów ETL/ELT
Może oznaczać zarówno pracę z gotowymi narzędziami ETL, jak i ręczne pisanie skryptów od podstaw.
🔴
znajomość co najmniej jednego języka programowania lub skryptowego, np. Python
Może oznaczać podstawową znajomość Pythona do pisania prostych skryptów, a niekoniecznie zaawansowane umiejętności programistyczne.
🔴
doświadczenie w obsłudze dużych wolumenów danych
Może oznaczać pracę z danymi rzędu gigabajtów, a niekoniecznie terabajtów czy petabajtów.
🔴
projektowanie, budowa i utrzymanie
Może oznaczać, że będziesz odpowiedzialny za cały cykl życia projektu, od koncepcji po bieżące wsparcie, co może być bardzo czasochłonne.
🟡
umiejętność współpracy z analitykami danych, architektami i zespołami technicznymi
Oznacza, że będziesz musiał efektywnie komunikować się z różnymi grupami interesariuszy, co wymaga nie tylko umiejętności technicznych, ale i miękkich.