Programista BigData (Regular)

Branża: bankowość Stawka: 120 zł/h na b2b Lokalizacja: głównie praca zdalna, 2 razy w miesiącu spotkanie w biurze w Warszawie Podsumowanie Głównym celem roli Programisty BigData jest projektowanie i wdrażanie rozwiązań przetwarzania dużych zbiorów danych przy użyciu technologii Big Data, co wspiera organizację w analizie i zarządzaniu danymi. Obowiązki • Rozwój i utrzymanie aplikacji opartych na technologii Spark w językach Python lub Scala. • Implementacja koncepcji Big Data oraz zarządzanie danymi w hurtowniach danych. • Praca na platformach Hadoop Cloudera lub Hortonworks. • Stosowanie dobrych praktyk inżynieryjnych przy przetwarzaniu dużych zbiorów danych. • Analiza i integracja danych z różnych źródeł. • Opracowywanie danych w różnych formatach, takich jak JSON, PARQUET, ORC, AVRO. • Wykonywanie zapytań SQL na poziomie zaawansowanym. Wymagania Kluczowe • Min. 2 lata doświadczenia w programowaniu w Spark w Pythonie lub Scali. • Znajomość koncepcji Big Data oraz hurtowni danych. • Doświadczenie z platformą Hadoop Cloudera/Hortonworks. • Znajomość dobrych praktyk inżynieryjnych w przetwarzaniu danych. • Doświadczenie z formatami danych: JSON, PARQUET, ORC, AVRO. • Zrozumienie typów baz danych, takich jak Hive, Kudu, HBase, Iceberg. • Zaawansowana znajomość SQL. • Doświadczenie w integracji danych z wielu źródeł. • Znajomość narzędzi budowlanych, takich jak Maven. Nice to Have • Znajomość narzędzi Agile, takich jak Jira, Confluence, Kanban, Scrum. • Znajomość platformy Kubeflow. • Doświadczenie z technologiami strumieniowymi: Kafka, Apache NiFi. • Wiedza na temat automatyzacji CI/CD.