Senior Data Engineer (Databricks)

Charakterystyka oferty: • Miejsce pracy: 100% zdalnie • Start: ASAP (max 30 dni OW) • Godziny pracy: Standardowe godziny pracy • Wynagrodzenie: 150 - 180 zł netto/h + VAT (bez płatnych urlopów) • Proces rekrutacyjny: Krótka rozmowa telefoniczna z ITFS ➡ Rozmowa techniczna ➡ Rozmowa projektowa ➡ Decyzja Twoje zadania: • Projektowanie i rozwój rozwiązań w środowisku Databricks. • Budowa i optymalizacja pipeline’ów danych z wykorzystaniem PySpark, Python i Spark SQL. • Tworzenie procesów ETL/ELT oraz rozwiązań opartych o Structured Streaming, Auto Loader i Delta Tables. • Integracja danych oraz praca z Azure Data Lake Storage. • Tworzenie i utrzymanie Databricks Jobs, Notebooks oraz integracji REST API. • Udział w code review, testowaniu i tworzeniu dokumentacji technicznej. • Wspieranie zespołu poprzez mentoring, dzielenie się wiedzą i współpracę z developerami. Wymagania: • Mini. 5 lat doświadczenia w obszarze Data Engineering. • Doświadczenie przy co najmniej dwóch projektach realizowanych w Databricks jako Data Engineer. • Bardzo dobra znajomość PySpark, Python oraz Spark SQL • Znajomość funkcji Databricks: Databricks Asset Bundles,Structured Streaming, Auto Loader, Azure Data Lake Storage, Databricks Jobs , Notebooks, REST API, Delta tables • Umiejętność efektywnej komunikacji z klientem i interesariuszami. • J. angielski na poziomie min. B2