Data Engineer (Praca hybrydowa - Kraków)
IT TALENTO SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ
⚲ Kraków
20 160 - 23 520 PLN netto (B2B)
Wymagania
- Python
- PySpark
- Azure Data Factory
Opis stanowiska
IT Talento to część Grupy HICRON - organizacji od lat wspierającej firmy w realizacji projektów technologicznych, transformacjach cyfrowych oraz rozwoju systemów SAP i rozwiązań IT.
W ramach Grupy współpracujemy z około 1000 ekspertów i konsultantów realizujących projekty dla klientów w Polsce i za granicą. Nasze zespoły uczestniczą m.in. we wdrożeniach SAP, migracjach do SAP S/4HANA, rozwoju dedykowanych aplikacji i systemów, projektach integracyjnych, modernizacjach środowisk IT oraz inicjatywach związanych z automatyzacją i transformacją biznesową.
Pracujemy dla organizacji reprezentujących różne sektory rynku - od produkcji i automotive, przez energetykę i chemię, po branżę FMCG. Dzięki temu nasi specjaliści mają możliwość zdobywania doświadczenia w zróżnicowanych środowiskach technologicznych, biznesowych i projektowych.
Tworzymy środowisko, w którym liczą się kompetencje, współpraca i realny wpływ na realizowane projekty. Niezależnie od tego, czy specjalizujesz się w SAP, IT czy nowych technologiach, możesz rozwijać swoje umiejętności przy przedsięwzięciach o dużej skali i znaczeniu biznesowym.
Dla jednego z naszych klientów aktualnie poszukujemy osoby w roli:
Data Engineer
Najważniejsze informacje organizacyjne
Model pracy: Hybrydowy (Kraków)
Umowa: B2B
Czas trwania: projekt długoterminowy
Wynagrodzenie: do 140 PLN/h
Poszukujemy doświadczonego Data Engineera ze strong hands-on experience w obszarze PySpark i Python, który dołączy do projektu realizowanego dla klienta z obszaru Data Engineering.
Osoba na tym stanowisku będzie odpowiedzialna za projektowanie, rozwój oraz optymalizację skalowalnych pipeline’ów danych oraz rozwiązań przetwarzających duże wolumeny danych w środowisku rozproszonym. Rola wymaga praktycznej znajomości Azure Data Factory (ADF) oraz bardzo dobrego zrozumienia architektury i najlepszych praktyk związanych z nowoczesnym Data Engineeringiem.
Projekt realizowany jest w modelu hybrydowym z Krakowa.
Twoje zadania
• Projektowanie, rozwój oraz utrzymanie skalowalnych pipeline’ów danych z wykorzystaniem PySpark i Python
• Tworzenie oraz optymalizacja procesów ETL/ELT dla środowisk high-volume data processing
• Przetwarzanie danych strukturalnych i niestrukturalnych z wielu źródeł
• Budowanie wydajnych i skalowalnych rozwiązań zgodnych z best practices Data Engineering
• Optymalizacja wydajności przetwarzania danych (partitioning, caching, join optimization)
• Tworzenie oraz zarządzanie workflowami w Azure Data Factory
• Współpraca z Data Scientistami, Architektami, Business Analystami oraz innymi stakeholderami
• Utrzymywanie jakości, spójności i niezawodności danych
• Rozwiązywanie problemów wydajnościowych w środowiskach distributed processing
• Współudział w rozwoju enterprise data architecture
Oczekiwania
• Minimum 6 lat ogólnego doświadczenia w IT
• Minimum 4–5 lat praktycznego doświadczenia z PySpark i Python
• Bardzo dobra znajomość: PySpark (DataFrames, Spark SQL, performance tuning), Python, SQL
• Doświadczenie z Azure Data Factory (ADF)
• Znajomość architektury oraz zasad projektowania rozwiązań Data Engineering
• Doświadczenie z dużymi środowiskami distributed data processing
• Znajomość metod optymalizacji danych i wydajności pipeline’ów
• Bardzo dobre umiejętności analityczne i troubleshootingowe
• Znajomość modelowania danych
• Język angielski na poziomie minimum B2
Mile widziane:
• Doświadczenie z Azure Databricks
• Znajomość środowiska Microsoft Azure
• Znajomość CI/CD i automatyzacji procesów Data Engineering
• Doświadczenie z Data Lake / Lakehouse architectures
W ramach Grupy współpracujemy z około 1000 ekspertów i konsultantów realizujących projekty dla klientów w Polsce i za granicą. Nasze zespoły uczestniczą m.in. we wdrożeniach SAP, migracjach do SAP S/4HANA, rozwoju dedykowanych aplikacji i systemów, projektach integracyjnych, modernizacjach środowisk IT oraz inicjatywach związanych z automatyzacją i transformacją biznesową.
Pracujemy dla organizacji reprezentujących różne sektory rynku - od produkcji i automotive, przez energetykę i chemię, po branżę FMCG. Dzięki temu nasi specjaliści mają możliwość zdobywania doświadczenia w zróżnicowanych środowiskach technologicznych, biznesowych i projektowych.
Tworzymy środowisko, w którym liczą się kompetencje, współpraca i realny wpływ na realizowane projekty. Niezależnie od tego, czy specjalizujesz się w SAP, IT czy nowych technologiach, możesz rozwijać swoje umiejętności przy przedsięwzięciach o dużej skali i znaczeniu biznesowym.
Dla jednego z naszych klientów aktualnie poszukujemy osoby w roli:
Data Engineer
Najważniejsze informacje organizacyjne
Model pracy: Hybrydowy (Kraków)
Umowa: B2B
Czas trwania: projekt długoterminowy
Wynagrodzenie: do 140 PLN/h
Poszukujemy doświadczonego Data Engineera ze strong hands-on experience w obszarze PySpark i Python, który dołączy do projektu realizowanego dla klienta z obszaru Data Engineering.
Osoba na tym stanowisku będzie odpowiedzialna za projektowanie, rozwój oraz optymalizację skalowalnych pipeline’ów danych oraz rozwiązań przetwarzających duże wolumeny danych w środowisku rozproszonym. Rola wymaga praktycznej znajomości Azure Data Factory (ADF) oraz bardzo dobrego zrozumienia architektury i najlepszych praktyk związanych z nowoczesnym Data Engineeringiem.
Projekt realizowany jest w modelu hybrydowym z Krakowa.
Twoje zadania
• Projektowanie, rozwój oraz utrzymanie skalowalnych pipeline’ów danych z wykorzystaniem PySpark i Python
• Tworzenie oraz optymalizacja procesów ETL/ELT dla środowisk high-volume data processing
• Przetwarzanie danych strukturalnych i niestrukturalnych z wielu źródeł
• Budowanie wydajnych i skalowalnych rozwiązań zgodnych z best practices Data Engineering
• Optymalizacja wydajności przetwarzania danych (partitioning, caching, join optimization)
• Tworzenie oraz zarządzanie workflowami w Azure Data Factory
• Współpraca z Data Scientistami, Architektami, Business Analystami oraz innymi stakeholderami
• Utrzymywanie jakości, spójności i niezawodności danych
• Rozwiązywanie problemów wydajnościowych w środowiskach distributed processing
• Współudział w rozwoju enterprise data architecture
Oczekiwania
• Minimum 6 lat ogólnego doświadczenia w IT
• Minimum 4–5 lat praktycznego doświadczenia z PySpark i Python
• Bardzo dobra znajomość: PySpark (DataFrames, Spark SQL, performance tuning), Python, SQL
• Doświadczenie z Azure Data Factory (ADF)
• Znajomość architektury oraz zasad projektowania rozwiązań Data Engineering
• Doświadczenie z dużymi środowiskami distributed data processing
• Znajomość metod optymalizacji danych i wydajności pipeline’ów
• Bardzo dobre umiejętności analityczne i troubleshootingowe
• Znajomość modelowania danych
• Język angielski na poziomie minimum B2
Mile widziane:
• Doświadczenie z Azure Databricks
• Znajomość środowiska Microsoft Azure
• Znajomość CI/CD i automatyzacji procesów Data Engineering
• Doświadczenie z Data Lake / Lakehouse architectures
🔍 Dekoder Ogłoszenia
🔴
organizacji od lat wspierającej firmy w realizacji projektów technologicznych, transformacjach cyfrowych oraz rozwoju systemów SAP i rozwiązań IT.
Firma specjalizuje się w projektach SAP i transformacjach cyfrowych, co może oznaczać, że większość projektów będzie związana z tymi technologiami, nawet jeśli ogłoszenie jest dla Data Engineera.
🔴
Niezależnie od tego, czy specjalizujesz się w SAP, IT czy nowych technologiach, możesz rozwijać swoje umiejętności przy przedsięwzięciach o dużej skali i znaczeniu biznesowym.
Chociaż szukają Data Engineera, mogą oczekiwać od niego znajomości lub chęci nauki technologii SAP, co może być nieoczywiste dla kandydata spoza tego ekosystemu.
🟡
Dla jednego z naszych klientów aktualnie poszukujemy osoby w roli: Data Engineer
Praca jest dla klienta, co oznacza, że warunki, kultura pracy i konkretne zadania mogą się różnić od tego, co oferuje samo IT Talento.
🟡
projekt długoterminowy
Może to oznaczać stabilność, ale też brak możliwości zmiany projektu w krótkim czasie, jeśli okaże się, że nie odpowiada kandydatowi.
🟡
do 140 PLN/h
Podana stawka jest maksymalna, a faktyczne wynagrodzenie może być niższe w zależności od doświadczenia i negocjacji.