Junior Big Data Developer (bankowość)

Branża: bankowośćLokalizacja: głównie praca zdalna, 2 dni w miesiącu z biura w Warszawie Stawka: do 105 zł/h Podsumowanie: Głównym celem tej roli jest wnoszenie wkładu w projekty Big Data poprzez rozwój i zarządzanie procesami danych, zapewnienie skutecznej analizy i przechowywania danych, co ostatecznie ułatwia podejmowanie decyzji w organizacji. Zadania: • Opracowywanie i utrzymanie frameworków do przetwarzania danych przy użyciu Sparka w Pythonie lub Scali. • Integruj dane z wielu źródeł w spójną architekturę. • Obsługuje różne formaty danych, w tym JSON, PARQUET, ORC i AVRO. • Wykorzystaj ekosystem Hadoop, a konkretnie Cloudera lub Hortonworks, do przechowywania i przetwarzania danych. • Wdrażaj najlepsze praktyki w zarządzaniu i przetwarzaniu danych. • Współpracuj z zespołami, aby zapewnić jakość i dostępność danych. Wymagane: • Minimum 2 lata doświadczenia w branży IT. • Znajomość koncepcji Big Data, hurtowni danych i zarządzania danymi. • Doświadczenia z Hadoop Cloudera/Hortonworks. • Co najmniej rok doświadczenia w programowaniu procesów danych w Spark w Pythonie (lub Scali). • Biegły w SQL na zaawansowanym poziomie. • Zrozumienie różnych typów baz danych i przypadków użycia, takich jak Hive, Kudu, HBase itd. • Doświadczenie w integracji danych z wielu źródeł danych. Mile widziane: • Praktyczna wiedza o procesach i narzędziach Agile: Jira, Confluence, Kanban, Scrum itd. • Znajomość najlepszych praktyk przetwarzania dużych zbiorów danych, w tym kodowania, dokumentacji, testowania i standardów wdrożenia. • Znajomość platformy Kubeflow. • Praktyczne doświadczenie z automatyzacją CI/CD.