Data Engineer (Databricks / Data Catalog & Governance)
emagine Polska
⚲ Lisbon
Wymagania
- Microsoft Azure
- Cloud
- transformation
- Governance
- Unity (game engine)
- Documentation
- Amazon Web Services (AWS)
- SQL
- Python
- Microsoft Platform
Opis stanowiska
Estamos à procura de um Data Engineer para liderar o desenvolvimento de um catálogo de dados no âmbito de um projeto de transformação de dados num cliente de referência no setor farmacêutico. Após a migração de Snowflake para Databricks, o foco passa agora pela implementação de uma camada de data governance, incluindo a definição, construção e operacionalização de um catálogo de dados (ex: Unity Catalog). Procuramos um perfil com boas bases técnicas e capacidade de interação com o negócio, que consiga estruturar e organizar a informação de forma eficiente. Responsabilidades • Desenvolver e implementar um catálogo de dados na plataforma Databricks (ex: Unity Catalog) • Definir e estruturar a organização dos dados (schemas, tabelas, domains) • Implementar regras de acesso, governance e controlo de permissões • Definir e garantir boas práticas de data governance (metadata, lineage, documentação) • Trabalhar com equipas de negócio para identificar e organizar necessidades de dados • Assegurar a qualidade, consistência e usabilidade dos dados • Colaborar com equipas técnicas na evolução da plataforma de dados Requisitos • 2 a 5 anos de experiência em Data Engineering ou funções semelhantes • Experiência prática com Databricks (preferencial) ou plataformas equivalentes • Bons conhecimentos de SQL e modelação de dados • Experiência ou contacto com data catalog / data governance • Experiência com ambientes cloud (Azure, AWS ou GCP) • Boa capacidade de comunicação e interação com stakeholders Valorizado • Experiência com Unity Catalog • Conhecimentos de Python • Experiência em definição de modelos de dados e estruturas organizacionais • Experiência em projetos de data platform ou data migration