Mid/Senior Big Data Engineer (bankowość)

Branża: bankowość Stawka: do 140 zł/h na b2b Lokalizacja: głównie praca zdalna plus 1 dzień na 2 tygodnie z biura w Warszawie Podsumowanie W zakresie obowiązków na stanowisku Mid/Senior Big Data Engineer będzie należało wdrażanie i projektowanie architektury nowoczesnych systemów przetwarzania danych i systemów big data zgodnie z procesem Scrum i wymaganiami klienta. Systemy mogą również obejmować elementy analityki strumieniowej. Odpowiedzialności: • Wdrażanie i projektowanie architektury rozwiązań big data. • Tworzenie i optymalizacja procesów przetwarzania danych za pomocą technologii Hadoop. • Implementacja procesów batch i streaming w językach Python/Scala. • Integracja danych z różnych źródeł danych. • Zapewnienie zgodności z dobrymi praktykami w zakresie przetwarzania danych. Wymagania Kluczowe: • Min. 5 lat doświadczenia w branży informatycznej. • Doświadczenie w projektowaniu architektury rozwiązań. • Znajomość konceptów Big Data i hurtowni danych. • Znajomość platformy Hadoop Cloudera/Hortonworks. • Duże doświadczenie (min. 4 lata) w programowaniu procesów batch w Python (lub Scala). • Duże doświadczenie (min. 4 lata) w programowaniu procesów streaming w Python (lub Scala). • Znajomość technologii Apache Kafka. • Znajomość formatów danych: JSON, PARQUET, ORC, AVRO. • Znajomość języka SQL na poziomie zaawansowanym. • Doświadczenie w integracji danych z wielu źródeł danych. Mile widziane: • Praktyczna znajomość procesów i narzędzi Agile: Jira, Confluence, Kanban, Scrum. • Praktyczna wiedza w zakresie automatyzacji CI/CD.