Data Engineer (Junior/Mid)
Respect Energy Fuels Sp zo.o.
⚲ Warszawa
10 000 - 20 000 PLN (PERMANENT)
Wymagania
- SQL
- Python
- Airflow
- Data engineering
- Azure (nice to have)
- Kubernetes (nice to have)
- Docker (nice to have)
- GitHub Actions (nice to have)
- ArgoCD (nice to have)
- Helm (nice to have)
Opis stanowiska
O projekcie: Cel stanowiska Rola odpowiada za projektowanie, budowę i utrzymanie warstwy danych wspierającej aplikacje wewnętrzne, raportowanie oraz procesy operacyjne i analityczne spółki. Celem jest dostarczanie stabilnych, skalowalnych i dobrze udokumentowanych pipeline’ów danych. Stanowisko łączy data engineering, automatyzację i współpracę międzyfunkcyjną. Osoba na tej roli pracuje na styku baz danych, ETL/ELT, hurtowni danych, aplikacji biznesowych oraz zespołów Data Science, DevOps i developmentu. Co oferujemy: - Realny wpływ na architekturę danych, rozwój hurtowni danych oraz standardy integracji i automatyzacji w spółce.- Pracę na styku danych, aplikacji i biznesu, z dużą ekspozycją na rzeczywiste procesy operacyjne i analityczne organizacji.- Bliską współpracę z zespołami Data Science, DevOps, developerami oraz użytkownikami biznesowymi przy projektach o wysokiej użyteczności.- Szeroki zakres ownershipu: od projektu rozwiązania, przez development i wdrożenie, po utrzymanie i dalszą optymalizację.- Środowisko, które oczekuje samodzielności, jakości technicznej, odpowiedzialności i inicjatywy w budowie nowoczesnej funkcji danych. Wymagania: - Komercyjne doświadczenie na poziomie Mid w obszarze Data Engineering, ETL/ELT, integracji danych lub budowy hurtowni danych.- Bardzo dobra znajomość SQL oraz praktyka w pracy z relacyjnymi bazami danych, transformacjami i optymalizacją zapytań.- Bardzo dobra znajomość Python w kontekście przetwarzania danych, integracji i automatyzacji.- Doświadczenie w budowie i utrzymaniu procesów ETL/ELT oraz orkiestracji workflowów, np. w Apache Airflow lub podobnym narzędziu.- Praktyczna znajomość zagadnień związanych z jakością danych, walidacją, monitoringiem i obsługą błędów.- Doświadczenie w pracy z hurtownią danych lub warstwami analitycznymi wykorzystywanymi przez raportowanie i aplikacje.- Umiejętność współpracy z programistami, DevOps i użytkownikami biznesowymi przy przekładaniu wymagań na rozwiązania techniczne.- Ownership, samodzielność, dobra organizacja pracy oraz znajomość języka angielskiego na poziomie co najmniej B2. Codzienne zadania: - Projektowanie, budowa i utrzymanie pipeline’ów ETL/ELT zasilających hurtownię danych, aplikacje wewnętrzne oraz warstwy raportowe. - Modelowanie danych i rozwój struktur staging, core oraz data marts zapewniających spójność, wydajność i łatwość konsumpcji danych. - Integracja danych z różnych źródeł, w tym relacyjnych baz danych, API, plików oraz systemów wewnętrznych i zewnętrznych. - Automatyzacja procesów przetwarzania danych, walidacji, reconciliacji oraz cyklicznych zasileń w środowisku produkcyjnym. - Budowa i utrzymanie mechanizmów kontroli jakości danych, monitoringu, alertowania oraz diagnostyki błędów. - Rozwój i utrzymanie hurtowni danych oraz warstw pośrednich wspierających analitykę, raportowanie i procesy biznesowe. - Wsparcie aplikacji operacyjnych i analitycznych od strony danych: dostępność źródeł, przewidywalność zasileń i jakość integracji. - Współpraca z Data Scientistami przy przygotowaniu i udostępnianiu danych do modeli, analiz i eksperymentów. - Współpraca z DevOps i programistami przy wdrożeniach, CI/CD, bezpieczeństwie, wydajności i stabilności rozwiązań danych. - Prowadzenie dokumentacji technicznej obejmującej modele danych, lineage, zależności oraz standardy pracy z danymi.