Data Platform Engineer

Nasze wymagania: Doświadczenie na stanowiskach inżyniera danych, programisty hurtowni danych, analityka danych, dewelopera business intelligence lub pokrewne. Doświadczenie w pracy z projektami obejmującymi wdrożenie lub zmiany Hurtowni Danych, Platform Danych, Lakehouses. Doświadczenie w pracy z dokumentacją: source to target matrix, business requirements, business glossary. Udział w złożonych projektach w obszarze „data” polegających na integracji wielu źródeł danych. Optymalizacja kodu SQL oraz Python z wykorzystaniem modeli AI. Doświadczenie w testach odbiorczych z kluczowymi interesariuszami w organizacji. Doświadczenie w pracy zespołowej w środowisku Agile. Zaawansowana umiejętność posługiwania się językiem ANSI-SQL. Zaawansowana umiejętność posługiwania się językiem Python. Bardzo dobre zdolności komunikacyjne, łatwość w nawiązywaniu relacji biznesowych w środowisku zdalnym. Wiedza i praktyczna znajomość standardów zarządzania zmianą CI/CD. Dokładność i przedsiębiorcza postawa w realizacji powierzonych zadań. Praktyczna znajomość technologii Azure Databricks Lakehouse. Doświadczenie w wykorzystaniu dostępnych Databricks connectors na potrzeby integracji źródeł systemowych. Umiejętność projektowania modeli danych, w tym star i snowflake schemas, dla efektywnej analizy danych. Umiejętność tworzenia od podstaw oraz orkiestracji złożonych przepływów danych w architekturze medalionu w rozwiązaniach klasy Enterprise Data Platform. Znajomość technik optymalizacji wydajności hurtowni danych, takich jak indeksowanie, partycjonowanie i buforowanie. Monitorowanie nowych technologii i trendów w zakresie hurtowni danych i proponowanie ich wdrożenia w celu optymalizacji platformy. Angielski B2/C1. O projekcie: Stanowisko związane z rozwojem i budową Platformy Danych, implementacją rozwiązań „Data Lakehouse” oraz „Data Intelligence Platform”, a także kontrolą jakości danych i wdrażaniem najlepszych praktyk w obszarze data management oraz data governance. Zakres obowiązków: Tworzenie kodu oprogramowania gotowego do zaimplementowania w Platformie Danych, w szczególności w zakresie tworzenia struktur danych, przepływów przekształcania danych oraz monitoringu ich jakości. Optymalizacja skryptów SQL oraz Python w zakresie efektywności przetwarzania w środowisku chmurowym Platformy Danych. Ścisła współpraca z analitykami danych, inżynierami DevOps oraz architektem rozwiązania w procesie zmian i budowy Platformy Danych. Realizacja wymagań funkcjonalnych i niefunkcjonalnych w obszarze zmian przepływów danych. Implementacja rozwiązań w obszarze inżynierii danych specyficznych dla produktów klasy „Data Lakehouse” oraz „Data Intelligence Platform”. Definiowanie reguł oraz budowa narzędzi wspomagających proces kontroli jakości danych gromadzonych w Platformie Danych. Rozwój i wdrażanie procesów i najlepszych praktyk w obszarze data management oraz data governance. Współpraca z administratorami systemów informatycznych w zakresie identyfikowania oraz tworzenia architektury optymalnych interfejsów komunikacji z Platformą Danych w środowisku chmurowym. Identyfikacja, integracja, propagowanie oraz konfiguracja interfejsów wymiany danych referencyjnych pomiędzy Platformą Danych a systemami źródłowymi.