Big Data Engineer – AWS (m,k,n)
Upvanta sp. z o.o.
⚲ Warszawa, Kraków, Wrocław, Poznań, Gdańsk
Wymagania
- IaC
- Docker
- Terraform
- AWS
- PySpark
- Python
- Data Engineering
Opis stanowiska
W związku z nowym projektem poszukujemy kandydatów na stanowisko Big Data Engineer (Middle oraz Senior) ze specjalizacją AWS. 🔹 Kluczowym wymaganiem jest zaawansowana / biegła znajomość języka ukraińskiego Zakres obowiązków: • Projektowanie, rozwój i utrzymanie skalowalnych pipeline’ów danych • Przetwarzanie dużych zbiorów danych z wykorzystaniem Python oraz PySpark • Tworzenie i optymalizacja rozwiązań opartych o AWS • Automatyzacja infrastruktury przy użyciu Terraform (IaC) • Wdrażanie i utrzymanie środowisk kontenerowych z wykorzystaniem Docker • Tworzenie oraz rozwój procesów CI/CD • Dbanie o jakość kodu poprzez testy automatyczne, linting i type checking • Monitorowanie wydajności rozwiązań oraz optymalizacja procesów danych • Współpraca z zespołami developerskimi, analitycznymi i biznesowymi • Udział w projektowaniu architektury danych oraz wdrażaniu najlepszych praktyk technologicznych Wymagania techniczne: • Doświadczenie w Data Engineering – budowa i utrzymanie skalowalnych pipeline’ów danych • Bardzo dobra znajomość Python oraz PySpark do przetwarzania dużych wolumenów danych • Praktyczne doświadczenie z AWS • Infrastructure as Code z wykorzystaniem Terraform • Konteneryzacja z użyciem Docker • Znajomość nowoczesnych praktyk developerskich:• testy (pytest) • type checking (mypy) • linting (ruff) • CI/CD (GitHub Actions, pre-commit) • Język angielski min. B2 (Upper-Intermediate) • Język ukraiński : C1,C2.