Data Engineer
IT TALENTO SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ
⚲ Kraków
140 zł netto (+ VAT) / godz.
Wymagania
- Python
- PySpark
- SQL
- Azure Data Factory
- Azure Databricks
- Microsoft Azure
Opis stanowiska
Nasze wymagania:
Minimum 6 lat ogólnego doświadczenia w IT
Minimum 4–5 lat praktycznego doświadczenia z PySpark i Python
Bardzo dobra znajomość: PySpark (DataFrames, Spark SQL, performance tuning), Python, SQL
Doświadczenie z Azure Data Factory (ADF)
Znajomość architektury oraz zasad projektowania rozwiązań Data Engineering
Doświadczenie z dużymi środowiskami distributed data processing
Znajomość metod optymalizacji danych i wydajności pipeline’ów
Bardzo dobre umiejętności analityczne i troubleshootingowe
Znajomość modelowania danych
Język angielski na poziomie minimum B2
Mile widziane:
Doświadczenie z Azure Databricks
Znajomość środowiska Microsoft Azure
Znajomość CI/CD i automatyzacji procesów Data Engineering
Doświadczenie z Data Lake / Lakehouse architectures
O projekcie:
Dla jednego z naszych klientów aktualnie poszukujemy osoby w roli: Data Engineer.
Najważniejsze informacje organizacyjne
Model pracy: Hybrydowy (Kraków)
Umowa: B2B
Czas trwania: projekt długoterminowy
Wynagrodzenie: do 140 PLN/h
Poszukujemy doświadczonego Data Engineera ze strong hands-on experience w obszarze PySpark i Python, który dołączy do projektu realizowanego dla klienta z obszaru Data Engineering.
Osoba na tym stanowisku będzie odpowiedzialna za projektowanie, rozwój oraz optymalizację skalowalnych pipeline’ów danych oraz rozwiązań przetwarzających duże wolumeny danych w środowisku rozproszonym. Rola wymaga praktycznej znajomości Azure Data Factory (ADF) oraz bardzo dobrego zrozumienia architektury i najlepszych praktyk związanych z nowoczesnym Data Engineeringiem.
Projekt realizowany jest w modelu hybrydowym z Krakowa.
Zakres obowiązków:
Projektowanie, rozwój oraz utrzymanie skalowalnych pipeline’ów danych z wykorzystaniem PySpark i Python
Tworzenie oraz optymalizacja procesów ETL/ELT dla środowisk high-volume data processing
Przetwarzanie danych strukturalnych i niestrukturalnych z wielu źródeł
Budowanie wydajnych i skalowalnych rozwiązań zgodnych z best practices Data Engineering
Optymalizacja wydajności przetwarzania danych (partitioning, caching, join optimization)
Tworzenie oraz zarządzanie workflowami w Azure Data Factory
Współpraca z Data Scientistami, Architektami, Business Analystami oraz innymi stakeholderami
Utrzymywanie jakości, spójności i niezawodności danych
Rozwiązywanie problemów wydajnościowych w środowiskach distributed processing
Współudział w rozwoju enterprise data architecture
Minimum 6 lat ogólnego doświadczenia w IT
Minimum 4–5 lat praktycznego doświadczenia z PySpark i Python
Bardzo dobra znajomość: PySpark (DataFrames, Spark SQL, performance tuning), Python, SQL
Doświadczenie z Azure Data Factory (ADF)
Znajomość architektury oraz zasad projektowania rozwiązań Data Engineering
Doświadczenie z dużymi środowiskami distributed data processing
Znajomość metod optymalizacji danych i wydajności pipeline’ów
Bardzo dobre umiejętności analityczne i troubleshootingowe
Znajomość modelowania danych
Język angielski na poziomie minimum B2
Mile widziane:
Doświadczenie z Azure Databricks
Znajomość środowiska Microsoft Azure
Znajomość CI/CD i automatyzacji procesów Data Engineering
Doświadczenie z Data Lake / Lakehouse architectures
O projekcie:
Dla jednego z naszych klientów aktualnie poszukujemy osoby w roli: Data Engineer.
Najważniejsze informacje organizacyjne
Model pracy: Hybrydowy (Kraków)
Umowa: B2B
Czas trwania: projekt długoterminowy
Wynagrodzenie: do 140 PLN/h
Poszukujemy doświadczonego Data Engineera ze strong hands-on experience w obszarze PySpark i Python, który dołączy do projektu realizowanego dla klienta z obszaru Data Engineering.
Osoba na tym stanowisku będzie odpowiedzialna za projektowanie, rozwój oraz optymalizację skalowalnych pipeline’ów danych oraz rozwiązań przetwarzających duże wolumeny danych w środowisku rozproszonym. Rola wymaga praktycznej znajomości Azure Data Factory (ADF) oraz bardzo dobrego zrozumienia architektury i najlepszych praktyk związanych z nowoczesnym Data Engineeringiem.
Projekt realizowany jest w modelu hybrydowym z Krakowa.
Zakres obowiązków:
Projektowanie, rozwój oraz utrzymanie skalowalnych pipeline’ów danych z wykorzystaniem PySpark i Python
Tworzenie oraz optymalizacja procesów ETL/ELT dla środowisk high-volume data processing
Przetwarzanie danych strukturalnych i niestrukturalnych z wielu źródeł
Budowanie wydajnych i skalowalnych rozwiązań zgodnych z best practices Data Engineering
Optymalizacja wydajności przetwarzania danych (partitioning, caching, join optimization)
Tworzenie oraz zarządzanie workflowami w Azure Data Factory
Współpraca z Data Scientistami, Architektami, Business Analystami oraz innymi stakeholderami
Utrzymywanie jakości, spójności i niezawodności danych
Rozwiązywanie problemów wydajnościowych w środowiskach distributed processing
Współudział w rozwoju enterprise data architecture
🔍 Dekoder Ogłoszenia
🔴
Minimum 6 lat ogólnego doświadczenia w IT
Może oznaczać, że firma szuka kogoś, kto ma szerokie doświadczenie, ale niekoniecznie głębokie w konkretnych technologiach Data Engineering.
🔴
strong hands-on experience
Często używane, aby podkreślić potrzebę praktycznego doświadczenia, ale może też sugerować, że oczekuje się od kandydata samodzielnego wykonywania zadań bez wsparcia.
🟡
projekt długoterminowy
Może oznaczać stabilność, ale też potencjalnie brak jasnego końca projektu i możliwość jego przedłużania w nieskończoność.
🟡
do 140 PLN/h
Górna granica wynagrodzenia, co oznacza, że faktyczne wynagrodzenie może być niższe, w zależności od negocjacji i oceny kandydata.
🟡
klienta z obszaru Data Engineering
Może sugerować, że projekt jest typowy dla branży, ale też że może być bardzo specyficzny i wymagać dopasowania do konkretnych narzędzi i procesów klienta.