Build reliable and scalable data pipelines in Azure to support high-quality graph-ready datasets for corporate expansion.
A Capco é uma consultoria global de tecnologia e negócios, focada no setor de serviços financeiros e energia, somos apaixonados por ajudar nossos clientes, temos 40 escritórios nas Américas, Europa e Ásia-Pacífico! Se criatividade e inovação são sua paixão, a Capco é ideal para você. Vamos te apoiar e ajudar a acelerar sua carreira!
Estamos buscando um(a) Engenheiro(a) de Dados Azure necessário(a) para construir pipelines de dados confiáveis e escaláveis que realizem ingestão, transformação e carregamento de dados corporativos em um Banco de Dados de Grafos RDF. Este(a) profissional terá foco em integração de dados nativa do Azure (por exemplo, Azure Data Factory) e streaming/mensageria (por exemplo, Kafka) para suportar conjuntos de dados de alta qualidade, prontos para grafos, para um MVP e futura expansão corporativa.
Responsabilidades:
Projetar e construir pipelines batch e de streaming no Azure para ingerir dados de arquivos, APIs, bancos de dados e fluxos de eventos.
Desenvolver e operar pipelines no Azure Data Factory (ADF), incluindo agendamento, parametrização, tratamento de erros e monitoramento.
Implementar padrões de ingestão/processamento de streaming baseados em Kafka (tópicos, consumidores/produtores, evolução de schema) para suportar feeds quase em tempo real, quando necessário.
Realizar transformações e modelagem de dados para produzir saídas compatíveis com RDF (por exemplo, entradas para mapeamento de entidades/relacionamentos), garantindo consistência, rastreabilidade (lineage) e reprodutibilidade.
Trabalhar em parceria com modeladores de ontologias/grafos para alinhar as saídas dos pipelines aos esquemas de grafos, identificadores e abordagens de resolução de vínculos.
Estabelecer verificações de qualidade de dados (completude, validade, duplicidade), logs e runbooks operacionais.
Apoiar práticas de DevOps: CI/CD para artefatos de pipelines, promoção entre ambientes e dashboards/alertas operacionais.
Contribuir para a documentação técnica: mapeamentos origem-destino, especificações de pipelines e notas de implantação.
Requisitos:
Mais de 3 anos construindo pipelines de dados em produção no Azure, com forte experiência prática em ADF.
Experiência com Kafka (ou tecnologia equivalente de streaming/mensageria) em implementações reais.
Forte conhecimento em SQL e pelo menos uma linguagem de programação (preferencialmente Python).
Sólido entendimento de ETL/ELT, conceitos de modelagem de dados e suporte operacional de pipelines (monitoramento, reprocessamentos, SLAs).
Desejaveis:
Familiaridade com conceitos de RDF/Knowledge Graph (triplas, IRIs, formatos de serialização como Turtle/JSON-LD, SPARQL).
Experiência com integração a bancos de dados de grafos (por exemplo, Stardog, GraphDB, Neptune) ou camadas semânticas.
Experiência com serviços Azure comumente utilizados em pipelines (por exemplo, ADLS Gen2, Key Vault, Functions, Fabric).
Certificações:
Microsoft Certified: Azure Data Engineer Associate (DP-203)
Microsoft Certified: Azure Fundamentals (AZ-900)
Microsoft Certified: Azure Developer Associate (AZ-204) (útil para Functions/integração)
Microsoft Certified: DevOps Engineer Expert (AZ-400) (CI/CD + operações de plataforma)
Confluent Certified Developer for Apache Kafka (CCDAK) ou certificação equivalente em Kafka
Qualquer treinamento/certificação em Web Semântica / Knowledge Graph (treinamentos de fornecedores como Stardog ou outras plataformas de grafos são um diferencial)
.
POR QUE CAPCO:
Na Capco promovemos uma cultura inclusiva. Valorizamos a diversidade em todas as suas expressões.
Pensamos, em conjunto, sempre em ações diversas de inclusão e de responsabilidade social através de comitês internos geridos pela nossa comunidade interna, como os grupo de Mulheres, Pessoas Com Deficiência, Pessoas Negras, LGBTQIAPN+, Parentalidade, Gerações, entre outros. Nossas oportunidades são trabalhadas para todos(as)!
#LifeAtCapco
PRÓXIMOS PASSOS:
Capco is a global business and technology consultancy that specializes in delivering impactful data-driven solutions for the financial services and energy industries. We partner with leading banks and insurance companies to drive digital transformation and enhance operational performance through innovative consulting and software development.
Please mention you found this job on AI Jobs. It helps us get more startups to hire on our site. Thanks and good luck!
Understand the required skills and qualifications, anticipate the questions you may be asked, and study well-prepared answers using our sample responses.
Data Engineer Q&A's