Data Engineer - Mid - Remote Hibrido Lisboa

🚀 1. Estruturação do Pipeline de Dados

• Constrói, otimiza e mantém pipelines de ingestão, transformação e carga de dados (ETL/ELT).

• Define a arquitetura dos pipelines, os padrões, camadas (raw, bronze, silver, gold) e governança.

• Coordena a implementação técnica dos pipelines, garantindo boas práticas e padrões definidos pela arquitetura.

🧠 2. Visão Técnica e Estratégica

• Foco na execução técnica, performance e confiabilidade do código e jobs.

• Foco em escalabilidade, interoperabilidade entre sistemas, e desenho da malha de dados.

• Equilibra visão técnica e de produto; atua como ponte entre time técnico e stakeholders.

🛠 3. Ferramentas e Tecnologias

• Especialista em Spark, SQL, Python, Delta Lake e Arquitetura de dados.

• Escolhe as ferramentas e tecnologias do ecossistema - Azure Fabric.

• Garante que o time esteja capacitado nas tecnologias escolhidas e ajuda a resolver gargalos técnicos.

🔐 4. Segurança e Qualidade dos Dados

• Implementa testes, validações, e lida com tratamento de erros e dados corrompidos.

• Define padrões de qualidade, catalogação, segurança e políticas de acesso.

• Garante que essas diretrizes sejam seguidas no dia a dia do time.

📈 5. Evolução Contínua e Inovação

• Automatiza e monitora para melhorar continuamente performance e custo.

• Avalia e propõe novas abordagens arquiteturais conforme o crescimento do negócio.

• Estimula inovação no time, promove POCs e adoção de novas soluções alinhadas à estratégia.