Engenheiro de Dados Sênior / Especialista em MLOps
⚲ Lisbon
22 000 – 32 000 zł / mies.
Wymagania
- Data Warehouse (DW)
- Operations
- CI/CD
- Scrum
- Atlassian JIRA
- Cloud
- Data storage
- Microsoft Platform
- GitHub
- Docker
Opis stanowiska
1. Contexto e Missão do Cargo
Estamos em processo de expansão da nossa estrutura de engenharia de dados e procuramos um profissional de perfil técnico, com foco em engenharia de dados avançada e sólidas fundações de DevOps e conhecimento de MLOps. Esta pessoa será responsável por desenhar, otimizar e manter a infraestrutura e os pipelines que sustentam os projetos de data locais, projetos de data science e as operações analíticas da empresa, servindo como uma ponte crítica entre o desenvolvimento de modelos e a produção em larga escala.
2. Principais Responsabilidades e Atividades
● Engenharia de Pipelines Complexos: Desenvolver, monitorizar e automatizar pipelines robustos de ingestão de dados (Batch e Streaming), lidando com cenários complexos como a integração avançada de APIs de fornecedores externos e web scraping de APIs aplicacionais.
● Arquitetura e Convenções de Data Warehouse: Desenhar e organizar o armazenamento de dados no Google BigQuery utilizando boas práticas de modelação. Garantir a correta transição e segregação lógica de ambientes, desde a receção de dados em bruto (Data Swamp / Data Lake) até às camadas otimizadas de disponibilização (Publish Layers).
● Automação e Infraestrutura (CI/CD): garantir o ciclo de vida do código e que as implementações sejam automatizadas.
● Cultura de Engenharia de Software: Contribuir para soluções altamente escaláveis, seguras e devidamente documentadas. Promover e estruturar repositórios modernos em ambiente Monorepo, facilitando a colaboração e a independência das equipas de Data Science.
3. Perfil Técnico e Requisitos do Candidato
Requisitos Mandatórios (Hard Skills)
● Experiência consolidada em Engenharia de Dados ou Engenharia de Software focada em sistemas de dados de larga escala.
● Experiência prática no ecossistema cloud GCP (Google Cloud Platform), com foco especializado em BigQuery.
● Proficiência comprovada no desenho de pipelines automatizados de CI/CD utilizando preferencialmente GitHub Actions (ou ferramentas equivalentes de mercado).
● Sólido entendimento de arquiteturas de dados modernas (Lakehouse, Data Lake) e suas respectivas convenções de camadas de dados.
● Proficiência em Inglês: Nível mínimo de conversação e escrita intermédio-avançado/fluente ( exemplo: B2 ou C1), para comunicação em ambientes técnicos e internacionais.
Requisitos Valorizados (Diferenciais)
● Experiência prática direta em conceitos e ferramentas de MLOps (gestão do ciclo de vida de modelos, serving de APIs de modelos, feature stores).
● Experiência no deployment de soluções em clusters orquestrados (Kubernetes), dependendo da necessidade arquitetural.
● Experiência com Observabilidade Usando Logging como Datadog ou Grafana
● Conhecimentos da metodologia SCRUM e de ferramentas como Jira.
4. Resumo da Stack Tecnológica Solicitada Categoria
Tecnologias / Conceitos Chave
Cloud & Storage
Google Cloud Platform (GCP), Google BigQuery
Infraestrutura & DevOps
Docker, Máquinas Virtuais (VMs)
CI/CD & Repositórios
GitHub Actions
SCRUM
Jira
Arquitetura de Dados
Data Swamp, Data Lake, Publish Layers, Convenções de DW
Idiomas
Inglês (B2 ou C1)
Estamos em processo de expansão da nossa estrutura de engenharia de dados e procuramos um profissional de perfil técnico, com foco em engenharia de dados avançada e sólidas fundações de DevOps e conhecimento de MLOps. Esta pessoa será responsável por desenhar, otimizar e manter a infraestrutura e os pipelines que sustentam os projetos de data locais, projetos de data science e as operações analíticas da empresa, servindo como uma ponte crítica entre o desenvolvimento de modelos e a produção em larga escala.
2. Principais Responsabilidades e Atividades
● Engenharia de Pipelines Complexos: Desenvolver, monitorizar e automatizar pipelines robustos de ingestão de dados (Batch e Streaming), lidando com cenários complexos como a integração avançada de APIs de fornecedores externos e web scraping de APIs aplicacionais.
● Arquitetura e Convenções de Data Warehouse: Desenhar e organizar o armazenamento de dados no Google BigQuery utilizando boas práticas de modelação. Garantir a correta transição e segregação lógica de ambientes, desde a receção de dados em bruto (Data Swamp / Data Lake) até às camadas otimizadas de disponibilização (Publish Layers).
● Automação e Infraestrutura (CI/CD): garantir o ciclo de vida do código e que as implementações sejam automatizadas.
● Cultura de Engenharia de Software: Contribuir para soluções altamente escaláveis, seguras e devidamente documentadas. Promover e estruturar repositórios modernos em ambiente Monorepo, facilitando a colaboração e a independência das equipas de Data Science.
3. Perfil Técnico e Requisitos do Candidato
Requisitos Mandatórios (Hard Skills)
● Experiência consolidada em Engenharia de Dados ou Engenharia de Software focada em sistemas de dados de larga escala.
● Experiência prática no ecossistema cloud GCP (Google Cloud Platform), com foco especializado em BigQuery.
● Proficiência comprovada no desenho de pipelines automatizados de CI/CD utilizando preferencialmente GitHub Actions (ou ferramentas equivalentes de mercado).
● Sólido entendimento de arquiteturas de dados modernas (Lakehouse, Data Lake) e suas respectivas convenções de camadas de dados.
● Proficiência em Inglês: Nível mínimo de conversação e escrita intermédio-avançado/fluente ( exemplo: B2 ou C1), para comunicação em ambientes técnicos e internacionais.
Requisitos Valorizados (Diferenciais)
● Experiência prática direta em conceitos e ferramentas de MLOps (gestão do ciclo de vida de modelos, serving de APIs de modelos, feature stores).
● Experiência no deployment de soluções em clusters orquestrados (Kubernetes), dependendo da necessidade arquitetural.
● Experiência com Observabilidade Usando Logging como Datadog ou Grafana
● Conhecimentos da metodologia SCRUM e de ferramentas como Jira.
4. Resumo da Stack Tecnológica Solicitada Categoria
Tecnologias / Conceitos Chave
Cloud & Storage
Google Cloud Platform (GCP), Google BigQuery
Infraestrutura & DevOps
Docker, Máquinas Virtuais (VMs)
CI/CD & Repositórios
GitHub Actions
SCRUM
Jira
Arquitetura de Dados
Data Swamp, Data Lake, Publish Layers, Convenções de DW
Idiomas
Inglês (B2 ou C1)
🔍 Dekoder Ogłoszenia
🟡
ponte crítica entre o desenvolvimento de modelos e a produção
Kluczowa rola łącznikowa — odpowiedzialność za wdrożenia i presja, gdy coś nie działa między zespołami
🟡
cenários complexos
Złożone, często nieuporządkowane dane i integracje — wymagana cierpliwość i rozwiązywanie trudnych problemów