Data Engineer (Praca hybrydowa - Kraków)

O projekcie:
IT Talento to część Grupy HICRON - organizacji od lat wspierającej firmy w realizacji projektów technologicznych, transformacjach cyfrowych oraz rozwoju systemów SAP i rozwiązań IT.

W ramach Grupy współpracujemy z około 1000 ekspertów i konsultantów realizujących projekty dla klientów w Polsce i za granicą. Nasze zespoły uczestniczą m.in. we wdrożeniach SAP, migracjach do SAP S/4HANA, rozwoju dedykowanych aplikacji i systemów, projektach integracyjnych, modernizacjach środowisk IT oraz inicjatywach związanych z automatyzacją i transformacją biznesową.

Pracujemy dla organizacji reprezentujących różne sektory rynku - od produkcji i automotive, przez energetykę i chemię, po branżę FMCG. Dzięki temu nasi specjaliści mają możliwość zdobywania doświadczenia w zróżnicowanych środowiskach technologicznych, biznesowych i projektowych.

Tworzymy środowisko, w którym liczą się kompetencje, współpraca i realny wpływ na realizowane projekty. Niezależnie od tego, czy specjalizujesz się w SAP, IT czy nowych technologiach, możesz rozwijać swoje umiejętności przy przedsięwzięciach o dużej skali i znaczeniu biznesowym.



Dla jednego z naszych klientów aktualnie poszukujemy osoby w roli:



Data Engineer



Najważniejsze informacje organizacyjne

Model pracy: Hybrydowy (Kraków)

Umowa: B2B

Czas trwania: projekt długoterminowy

Wynagrodzenie: do 140 PLN/h



Poszukujemy doświadczonego Data Engineera ze strong hands-on experience w obszarze PySpark i Python, który dołączy do projektu realizowanego dla klienta z obszaru Data Engineering.

Osoba na tym stanowisku będzie odpowiedzialna za projektowanie, rozwój oraz optymalizację skalowalnych pipeline’ów danych oraz rozwiązań przetwarzających duże wolumeny danych w środowisku rozproszonym. Rola wymaga praktycznej znajomości Azure Data Factory (ADF) oraz bardzo dobrego zrozumienia architektury i najlepszych praktyk związanych z nowoczesnym Data Engineeringiem.

Projekt realizowany jest w modelu hybrydowym z Krakowa.

Wymagania:
- Minimum 6 lat ogólnego doświadczenia w IT - Minimum 4–5 lat praktycznego doświadczenia z PySpark i Python - Bardzo dobra znajomość: PySpark (DataFrames, Spark SQL, performance tuning), Python, SQL - Doświadczenie z Azure Data Factory (ADF) - Znajomość architektury oraz zasad projektowania rozwiązań Data Engineering - Doświadczenie z dużymi środowiskami distributed data processing - Znajomość metod optymalizacji danych i wydajności pipeline’ów - Bardzo dobre umiejętności analityczne i troubleshootingowe - Znajomość modelowania danych - Język angielski na poziomie minimum B2

Codzienne zadania:
- Projektowanie, rozwój oraz utrzymanie skalowalnych pipeline’ów danych z wykorzystaniem PySpark i Python
- Tworzenie oraz optymalizacja procesów ETL/ELT dla środowisk high-volume data processing
- Przetwarzanie danych strukturalnych i niestrukturalnych z wielu źródeł
- Budowanie wydajnych i skalowalnych rozwiązań zgodnych z best practices Data Engineering
- Optymalizacja wydajności przetwarzania danych (partitioning, caching, join optimization)
- Tworzenie oraz zarządzanie workflowami w Azure Data Factory
- Współpraca z Data Scientistami, Architektami, Business Analystami oraz innymi stakeholderami
- Utrzymywanie jakości, spójności i niezawodności danych
- Rozwiązywanie problemów wydajnościowych w środowiskach distributed processing
- Współudział w rozwoju enterprise data architecture