JustJoin.IT Praca zdalna Mid New

Data Engineer (Databricks / Data Catalog & Governance)

emagine Polska

⚲ Lisbon

Wymagania

  • Microsoft Azure
  • Cloud
  • transformation
  • Governance
  • Unity (game engine)
  • Documentation
  • Amazon Web Services (AWS)
  • SQL
  • Python
  • Microsoft Platform

Opis stanowiska

Estamos à procura de um Data Engineer para liderar o desenvolvimento de um catálogo de dados no âmbito de um projeto de transformação de dados num cliente de referência no setor farmacêutico. Após a migração de Snowflake para Databricks, o foco passa agora pela implementação de uma camada de data governance, incluindo a definição, construção e operacionalização de um catálogo de dados (ex: Unity Catalog). Procuramos um perfil com boas bases técnicas e capacidade de interação com o negócio, que consiga estruturar e organizar a informação de forma eficiente.   Responsabilidades • Desenvolver e implementar um catálogo de dados na plataforma Databricks (ex: Unity Catalog) • Definir e estruturar a organização dos dados (schemas, tabelas, domains) • Implementar regras de acesso, governance e controlo de permissões • Definir e garantir boas práticas de data governance (metadata, lineage, documentação) • Trabalhar com equipas de negócio para identificar e organizar necessidades de dados • Assegurar a qualidade, consistência e usabilidade dos dados • Colaborar com equipas técnicas na evolução da plataforma de dados   Requisitos • 2 a 5 anos de experiência em Data Engineering ou funções semelhantes • Experiência prática com Databricks (preferencial) ou plataformas equivalentes • Bons conhecimentos de SQL e modelação de dados • Experiência ou contacto com data catalog / data governance • Experiência com ambientes cloud (Azure, AWS ou GCP) • Boa capacidade de comunicação e interação com stakeholders   Valorizado • Experiência com Unity Catalog • Conhecimentos de Python • Experiência em definição de modelos de dados e estruturas organizacionais • Experiência em projetos de data platform ou data migration