Data Engineer (Python, Apache Spark, Hadoop) (m/n/k)
⚲ Puławska
Do uzgodnienia
Wymagania
- min. 4 lata doświadczenia w inżynierii danych w środowiskach rozproszonych
- zaawansowany Python z naciskiem na OOP (wzorce projektowe, czysty modularny kod)
- doświadczenie z PySpark i Apache Spark (optymalizacja jobów, partitioning, monitoring klastrów)
- doświadczenie z ekosystemem Hadoop i pracą na dużych wolumenach danych
- praktyczna znajomość Dataproc, BigQuery i Cloud Storage
- umiejętność budowania testów automatycznych na styku Spark/Python oraz praca z Airflow i CI/CD (Jenkins)
- angielski min. B2 do codziennej komunikacji
- gotowość do pracy hybrydowej (2 dni w tygodniu z biura klienta w Krakowie)
Opis stanowiska
Międzynarodowy projekt dla klienta z sektora bankowego — budowa skalowalnych procesów ETL w GCP oraz projektowanie frameworków walidacyjnych i testowych dla danych krytycznych biznesowo. Będziesz rozwijać joby Spark/PySpark na klastrach Dataproc i w ekosystemie Hadoop, budować testy automatyczne i reguły Data Quality oraz zasilać hurtownię BigQuery, z automatyzacją przez Airflow i Jenkins. Praca hybrydowa: 2 dni w tygodniu z biura klienta w Krakowie. Dobra oferta dla inżyniera danych z mocnym Pythonem i doświadczeniem w rozproszonym przetwarzaniu.
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.