Senior Data Engineer (Databricks)

O projekcie: - Miejsce pracy: 100% zdalnie- Start: ASAP (max 30 dni OW)- Godziny pracy: Standardowe godziny pracy- Wynagrodzenie: 150 - 180 zł netto/h + VAT (bez płatnych urlopów)- Proces rekrutacyjny: Krótka rozmowa telefoniczna z ITFS ➡ Rozmowa techniczna ➡ Rozmowa projektowa ➡ Decyzja Wymagania: - Mini. 5 lat doświadczenia w obszarze Data Engineering.- Doświadczenie przy co najmniej dwóch projektach realizowanych w Databricks jako Data Engineer.- Bardzo dobra znajomość PySpark, Python oraz Spark SQL- Znajomość funkcji Databricks: Databricks Asset Bundles,Structured Streaming, Auto Loader, Azure Data Lake Storage, Databricks Jobs , Notebooks, REST API, Delta tables- Umiejętność efektywnej komunikacji z klientem i interesariuszami.- J. angielski na poziomie min. B2 Codzienne zadania: - Projektowanie i rozwój rozwiązań w środowisku Databricks. - Budowa i optymalizacja pipeline’ów danych z wykorzystaniem PySpark, Python i Spark SQL. - Tworzenie procesów ETL/ELT oraz rozwiązań opartych o Structured Streaming, Auto Loader i Delta Tables. - Integracja danych oraz praca z Azure Data Lake Storage. - Tworzenie i utrzymanie Databricks Jobs, Notebooks oraz integracji REST API. - Udział w code review, testowaniu i tworzeniu dokumentacji technicznej. - Wspieranie zespołu poprzez mentoring, dzielenie się wiedzą i współpracę z developerami.