Databricks Data Engineer

O projekcie: Do naszego zespołu poszukujemy doświadczonego Databricks Data Engineera, który będzie odpowiedzialny za projektowanie, budowę oraz rozwój nowoczesnych rozwiązań data engineeringowych w środowisku Big Data i chmurze publicznej. Wymagania: Wymagania: - Minimum 5 lat doświadczenia w obszarze Data Engineering - Minimum 2 lata doświadczenia w pracy z Databricks - Bardzo dobra znajomość: SQL, PySpark, Python - Doświadczenie w obszarze hurtowni danych, ETL, przetwarzania rozproszonego oraz modelowania danych - Znajomość koncepcji: Data Marts, Data Warehouses, Data Lakes, Data Mesh - Doświadczenie w pracy z co najmniej jedną chmurą publiczną (Azure, AWS lub GCP) - Znajomość technik projektowania relacyjnych baz danych oraz nierelacyjnych systemów przechowywania danych - Doświadczenie w pracy z danymi o różnej strukturze - Umiejętność analitycznego rozwiązywania problemów w środowisku Big Data - Bardzo dobra znajomość języka angielskiego (w mowie i piśmie) - Doświadczenie w pracy w metodykach Agile (Scrum, Kanban) oraz znajomość zasad DevOps i CI/CD Codzienne zadania: - Projektowanie i rozwój rozwiązań opartych o Databricks - Budowa i optymalizacja procesów ETL/ELT - Tworzenie oraz rozwój hurtowni danych, Data Martów i Data Lake - Modelowanie danych oraz projektowanie architektury przetwarzania danych - Praca z danymi ustrukturyzowanymi, pół-ustrukturyzowanymi i nieustrukturyzowanymi - Optymalizacja zapytań i procesów przetwarzania w środowiskach rozproszonych - Współpraca z zespołami analitycznymi, BI oraz biznesem - Praca w środowisku Agile z wykorzystaniem dobrych praktyk DevOps i CI/CD