Senior Big Data Engineer (bankowość)

Branża: BankowośćLokalizacja: Hybryda z Warszawy (1 dzień na 2 tygodnie z biura w Warszawie) Stawka: do 160 zł/h na b2b Podsumowanie: Rola Programisty BigData polega na tworzeniu rozwiązań do przetwarzania dużych zbiorów danych, które mają na celu efektywne zarządzanie danymi w organizacji. Kluczowe umiejętności to programowanie w Spark oraz zaawansowana znajomość SQL i Big Data. Główne Zadania: • Wdrażanie i projektowanie architektury systemów big data • Implementacja procesów przetwarzania danych zgodnie z wymaganiami klienta • Praca w zespole zgodnie z metodyką Scrum • Integracja różnych źródeł danych • Dokumentacja i testowanie rozwiązań big data Kluczowe Wymagania: • Min. 5 lat doświadczenia w branży informatycznej • Doświadczenie w projektowaniu architektury rozwiązań • Znajomość koncepcji Big Data oraz Hurtowni Danych • Znajomość platformy Hadoop Cloudera/Hortonworks lub podobnego narzędzia • Umiejętność programowania w Spark procesów batch i streaming w Pythonie lub Scali (min. 4 lata) • Znajomość technologii Apache Kafka • Doświadczenie z formatami danych: JSON, PARQUET, ORC, AVRO • Znajomość SQL na poziomie zaawansowanym • Zrozumienie typów baz danych (np. Hive, Kudu, HBase) • Doświadczenie w integracji danych z wielu źródeł Mile widziane: • Praktyczna znajomość narzędzi Agile (Jira, Confluence, Kanban, Scrum) • Doświadczenie w automatyzacji CI/CD