Senior Data Engineer
Scalo
⚲ Wrocław, Warszawa, Łódź
22 680 - 24 360 PLN (B2B)
Wymagania
- Azure Databricks
- Python
- Spark
- Azure Data Lake
- Azure Data Factory
- Qlik
- IBM MQ
- API
- REST API
- JSON
- ETL
- Git
- Big Data (nice to have)
- Power BI (nice to have)
Opis stanowiska
O projekcie: Cześć! U nas znajdziesz to, czego szukasz - przekonaj się! Co dla Ciebie mamy: - Stabilna współpraca Wyzwania technologiczne i praca z nowoczesnymi rozwiązaniami. Internal Mobility - nie musisz zmieniać firmy, żeby zmienić projekt - Ambasadorzy SCALO Rozwijaj kompetencje techniczne i presalesowe, wpływaj na kierunek rozwoju organizacji i wspieraj innych - Budowanie marki osobistej Twórz wartościowe treści, dziel się wiedzą i doświadczeniem, występuj jako ekspert na wydarzeniach (np. ProMeet) - rozwijaj swoją markę w naturalny sposób - Benefit box Pełna opieka medyczna, karta MultiSport i szeroka oferta Motivizera - wybieraj benefity, które dbają o Twoje zdrowie, energię i codzienny komfort - Program poleceń Poleć znajomego z IT, a resztą zajmiemy się my – on dostaje nowy projekt, Ty bonus. Win–win w najczystszej postaci - Integracje i wydarzenia firmowe Wspólne wyjścia, firmowe eventy i okazje do poznania się poza projektami – bo dobre relacje tworzą najlepsze zespoły Wymagania: - posiadasz bardzo dobrą znajomość IICS, - masz doświadczenie w pracy z Azure Databricks, Python oraz Spark, - pracowałeś/aś z usługami danych Azure (np. Azure Data Lake, Azure Data Factory), - posiadasz doświadczenie z narzędziami do ingestii danych (np. Qlik Replicate, MQ, MQCC), - masz doświadczenie w tworzeniu API (REST/JSON lub podobne), - dobrze rozumiesz procesy ETL, modelowanie danych oraz podstawy architektury danych, - znasz narzędzia CI/CD oraz systemy kontroli wersji (np. Git), - posiadasz rozwinięte umiejętności analityczne i rozwiązywania problemów, - masz doświadczenie w pracy w metodykach Agile, - dobrze komunikujesz się i potrafisz współpracować zarówno z zespołami technicznymi, jak i biznesowymi, - posługujesz się językiem angielskim na poziomie zaawansowanym. Mile widziane: - doświadczenie w przetwarzaniu big data oraz optymalizacji pracy w Spark, - znajomość zagadnień data governance, lineage danych oraz najlepszych praktyk bezpieczeństwa, - doświadczenie w pracy z narzędziami do wizualizacji danych (np. Power BI). Codzienne zadania: - udział w projekcie realizowanym dla klienta z branży automotive (obszar Data & AI – sprzedaż), - rozwój oraz utrzymanie skalowalnych rozwiązań danych wspierających procesy sprzedażowe, - utrzymanie i rozwój krytycznych rozwiązań opartych na stosie Synapse / IICS, - aktywny udział w transformacji środowiska danych: migracja do architektury opartej o Azure Databricks, - projektowanie, rozwój oraz optymalizacja nowoczesnych pipeline’ów danych z wykorzystaniem Azure Databricks i Python, - implementacja i rozwój rozwiązań na platformie Azure Data Platform (m.in. Data Lake, Databricks), - tworzenie i rozwój API wspierających data ingestion oraz integrację między systemami, - współpraca z interesariuszami biznesowymi: analiza wymagań i przekładanie ich na rozwiązania techniczne, - zapewnienie jakości danych, bezpieczeństwa oraz zgodności z obowiązującymi standardami, - integracja rozwiązań danych z istniejącymi systemami i procesami biznesowymi, - optymalizacja rozwiązań pod kątem wydajności, skalowalności i kosztów, - praca hybrydowa: raz w tygodniu we Wrocławiu, - stawka do 145zł/h B2B, w zależności od doświadczenia.