Databricks Data Engineer (m/k/n)
UPVANTA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ
⚲ Wrocław, Fabryczna
22 000–24 000 zł netto (+ VAT) / mies.
Wymagania
- SQL
- PySpark
- Python
- Azure
- AWS
- Google Cloud Platform
Opis stanowiska
Nasze wymagania: Minimum 5 lat doświadczenia w obszarze Data Engineering Minimum 2 lata doświadczenia w pracy z Databricks Bardzo dobra znajomość: SQL, PySpark, Python Doświadczenie w obszarze hurtowni danych, ETL, przetwarzania rozproszonego oraz modelowania danych Znajomość koncepcji: Data Marts, Data Warehouses, Data Lakes, Data Mesh Doświadczenie w pracy z co najmniej jedną chmurą publiczną (Azure, AWS lub GCP) Znajomość technik projektowania relacyjnych baz danych oraz nierelacyjnych systemów przechowywania danych Doświadczenie w pracy z danymi o różnej strukturze Umiejętność analitycznego rozwiązywania problemów w środowisku Big Data Bardzo dobra znajomość języka angielskiego (w mowie i piśmie) Doświadczenie w pracy w metodykach Agile (Scrum, Kanban) oraz znajomość zasad DevOps i CI/CD O projekcie: Do naszego zespołu poszukujemy doświadczonego Databricks Data Engineera, który będzie odpowiedzialny za projektowanie, budowę oraz rozwój nowoczesnych rozwiązań data engineeringowych w środowisku Big Data i chmurze publicznej. Zakres obowiązków: Projektowanie i rozwój rozwiązań opartych o Databricks Budowa i optymalizacja procesów ETL/ELT Tworzenie oraz rozwój hurtowni danych, Data Martów i Data Lake Modelowanie danych oraz projektowanie architektury przetwarzania danych Praca z danymi ustrukturyzowanymi, pół-ustrukturyzowanymi i nieustrukturyzowanymi Optymalizacja zapytań i procesów przetwarzania w środowiskach rozproszonych Współpraca z zespołami analitycznymi, BI oraz biznesem Praca w środowisku Agile z wykorzystaniem dobrych praktyk DevOps i CI/CD