Data Engineer Databricks Developer

Oferujemy
•

Model współpracy: 100% zdalna (z możliwością pracy z biura i okazjonalnymi spotkaniami zespołu)
• Stawka: 120-150 zł/h netto
Obowiązki
• Projektowanie i rozwój aplikacji oraz procesów ETL/ELT w środowisku Databricks.
• Implementacja rozwiązań w językach wykorzystywanych na platformie Databricks (np. PySpark, Spark SQL).
• Optymalizacja wydajności przetwarzania danych i tuning zapytań oraz zadań.
• Integracja Databricks z innymi usługami chmurowymi i narzędziami analitycznymi.
• Tworzenie i utrzymanie dokumentacji technicznej oraz standardów kodowania.
• Współpraca z zespołami analitycznymi, DevOps i biznesowymi w celu dostarczenia stabilnych rozwiązań.
• Udział w przeglądach architektury, kodu i wdrożeń oraz proponowanie usprawnień technicznych.
Wymagania
• Minimum 3 lata doświadczenia w obszarze Data Engineering / Big Data
• Praktycznego, projektowego doświadczenia z Databricks i Apache Spark (preferowane min. 3 lata)
• Znajomości przynajmniej jednego z języków używanych w Databricks: Python, Scala lub SQL
• Praktycznej wiedzy z projektowania procesów ETL/ELT oraz pracy z danymi w formatach Parquet, Avro, CSV i innych
• Umiejętności optymalizacji zapytań i zadań Spark oraz zarządzania zasobami klastra
• Dobrych praktyk w zakresie kontroli wersji (Git) i automatyzacji wdrożeń
• Samodzielności w działaniu
• Znajomości języka angielskiego na poziomie C1
Mile widziane
• Doświadczenie z usługami chmurowymi zintegrowanymi z Databricks (Azure, AWS lub GCP)