Data Engineer (Databricks)

O projekcie:    Poszukujemy doświadczonych Senior Data Engineer'ów, którzy dołączą do nowo tworzonego w Polsce zespołu specjalizującego się w migracji danych do chmury. Projekt realizowany jest dla międzynarodowej duńskiej organizacji z sektora finansowego. Kluczowym zadaniem będzie zapewnienie płynnej transformacji istniejących rozwiązań oraz stworzenie trwałych fundamentów pod rozwój nowoczesnej platformy danych opartej na architekturze Lakehouse.   Praca w 100% zdalna, wymagana otwartość na podróż do Danii na początku projektu.  Zakres obowiązków   • Migracja istniejących rozwiązań danych do środowiska chmurowego • Projektowanie oraz implementacja procesów ETL  • Modelowanie danych oraz tworzenie transformacji danych w oparciu o wymagania użytkowników końcowych • Implementacja kontraktów danych i domen danych (np. Umowy, Polisy, Klienci, Roszczenia) • Współpraca z interesariuszami w celu zrozumienia wymagań biznesowych • Przeprowadzanie testów jakości danych, preferencyjnie automatycznych, i tworzenie mechanizmów kontrolnych zapewniających spójność danych • Tworzenie i utrzymywanie dokumentacji technicznej i biznesowej • Udział w planowaniu prac z wykorzystaniem Azure DevOps • Udział w analizach potrzeb biznesowych i współpraca z lokalnymi przedstawicielami klienta w celu określenia wymagań funkcjonalnych i niefunkcjonalnych. • Dbanie o jakość i spójność kodu źródłowego, w tym przestrzeganie dobrych praktyk programistycznych i standardów kodowania przy pracy z SQL i Pythonem. • Udział w rozwoju i utrzymaniu fundamentów danych wspierających produkty biznesowe • Współpraca z zespołami międzynarodowymi    Oczekiwania   • Minimum 6 lat doświadczenia komercyjnego w roli Data Engineera • Doświadczenie w migracji danych i projektowaniu rozwiązań chmurowych • Bardzo dobra znajomość języków SQL i Python, w tym umiejętność tworzenia skalowalnych i czytelnych skryptów oraz testów automatycznych • Praktyczna znajomość narzędzi z ekosystemu Azure, w szczególności: - Azure Data Factory (ADF) -Databricks (w szczególności DQX) - lub znajomość innych narzędzi do automatyzacji kontroli jakości danych • Doświadczenie w budowaniu procesów ETL oraz tworzeniu i implementacji data pipelines • Zrozumienie zasad tworzenia data contracts i domen danych • Wiedza z zakresu testowania jakości danych w procesach przetwarzania danych (ETL/ELT), np. Great Expectations – mile widziane • Znajomość zagadnień związanych z migracją danych i integracją danych legacy • Umiejętność pracy w międzynarodowym zespole oraz komunikacji z interesariuszami - zdolność zrozumienia ich potrzeb i przekształcania ich w wymagania techniczne • Mile widziane certyfikaty: Databricks Certified Data Engineer Associate Microsoft Azure Data Fundamentals (DP-900) • Mile widziana wiedza domenowa z zakresu ubezpieczeń (w szczególności umów, osób, polis, roszczeń itp.)  • Bardzo dobra komunikacja w języku angielskim - min. C1   Oferujemy • Stałe wsparcie osobistego agenta, dbającego o Twoją ciągłość projektową, kontakt z klientem, niezbędne formalności, komfort pracy oraz rozwój,  • Consultant Development Program – doradztwo w planowaniu rozwoju w oparciu o najnowsze trendy i potrzeby rynku IT, obejmujące m.in. konsultacje z agentami i mentorami rozwoju,  • Dostęp do 7N Learning & Development – platformy rozwojowo-edukacyjnej z webinarami, biblioteką artykułów i raportów branżowych oraz regularnymi zaproszeniami na jednorazowe i cykliczne wydarzenia rozwojowe – techniczne, biznesowe oraz life-stylowe,   • Spektakularne eventy integracyjne, zarówno dla Ciebie (np. coroczny wyjazd Kick-Off, imprezy świąteczne czy sportowe Letnie Igrzyska), jak i dla Twoich bliskich (np. pikniki rodzinne),  • Rozwój zawodowy nie tylko podczas projektu – możesz zaangażować się w przekazywanie wiedzy innym w ramach oferty 7N Services kierowanej do klientów 7N,  • Relacje i dostęp do wiedzy najbardziej doświadczonych ekspertów IT na rynku – średni staż zawodowy naszego Konsultanta w Polsce to ponad 10 lat,  • Pakiet benefitów zaplanowany od A do Z, czyli dofinansowanie do opieki medycznej, ubezpieczenia na życie, karty sportowej dla Ciebie i Twoich bliskich, a także zniżki do sklepów w Polsce i za granicą.