Engenheiro de Dados (Especialização em IA / RAG)

Profissional de Engenharia de Dados, responsável por projetar, desenvolver e otimizar pipelines de dados escaláveis para ingestão, transformação e enriquecimento de dados estruturados e não estruturados, com foco no suporte a soluções de Inteligência Artificial, especialmente arquiteturas de Retrieval-Augmented Generation (RAG) e construção de base de conhecimento corporativa.

A atuação está aderente às responsabilidades contratuais de Engenharia de Dados, com aplicação das técnicas em cenários avançados de IA.

Atividades e Responsabilidades

Desenvolver e implementar pipelines de ingestão de dados provenientes de bancos de dados, APIs, logs e repositórios documentais corporativos (PDFs, HTML, documentos textuais).

Realizar processos avançados de limpeza, transformação, enriquecimento e versionamento de dados, garantindo integridade, rastreabilidade e qualidade.

Projetar e manter pipelines distribuídos em Apache Spark / PySpark, utilizando plataforma Databricks e arquitetura de dados escalável (Data Lake / Lakehouse).

Implementar estratégias de preparação de dados para IA, incluindo segmentação de documentos (chunking), enriquecimento semântico e integração com mecanismos de busca e indexação.

Apoiar times de Ciência de Dados e AI/ML na preparação de datasets voltados a modelos analíticos e generativos.

Monitorar e otimizar performance, volume e eficiência dos processos de processamento de dados.

Garantir aderência a boas práticas de governança, retenção, atualização e confiabilidade dos dados.

Conhecimentos Técnicos Obrigatórios

Experiência sólida em Engenharia de Dados

Python e/ou PySpark

Apache Spark (batch e/ou streaming)

Experiência com pipelines ETL/ELT

Modelagem de dados em ambientes Data Lake / Lakehouse

Experiência com consumo e integração de APIs

Vivência em ambientes de Cloud Computing (preferencialmente Azure)

Uso de controle de versão (Git)

Conhecimentos Desejáveis (Diferenciais Técnicos)

Experiência com dados não estruturados (texto e documentos)

Experiência com pipelines de dados para Inteligência Artificial

Conhecimento em estratégias de recuperação de informação (RAG)

Integração com mecanismos de busca e indexação semântica

Experiência com plataformas de IA generativa (OpenAI, Azure OpenAI ou equivalentes)

Definir arquitetura de pipelines de dados

Propor melhorias de performance e qualidade

Atuar com autonomia técnica

Apoiar e orientar outros profissionais de dados

Certificações
Apresentar no mínimo 1 (uma) certificação exigida em contrato, devidamente comprovada no currículo.

• Certified Data Management Professional (CDMP);
• Cloudera Certified Data Engineer (CCDE);
• AWS Certified Big Data;
• Microsoft Certified - Azure Data Engineer Associate.