Especialista Sênior em QA de IA / Testes de IA

Quer ser a pessoa que garante que agentes de IA realmente funcionem no mundo real? Na Avvale, você será protagonista na qualidade de soluções de IA conversacional que atendem grandes empresas e milhares de usuários.

Você vai atuar em um ambiente inovador, conectando times de produto, dados e tecnologia para transformar ideias em experiências conversacionais robustas, seguras e mensuráveis.

• Definir e evoluir o framework de testes para agentes de IA e fluxos multicanais (voz e texto).
• Validar a qualidade de agentes conversacionais, incluindo RAG e LLMs.
• Estruturar métricas, dashboards e critérios de aceite de qualidade.
• Revisar cobertura de testes e garantir rastreabilidade de bugs.
• Orientar parceiros e squads sobre boas práticas de QA em IA.
• Planejar e executar testes estatísticos e experimentos de performance.
• Atuar como guardião da qualidade conversacional ponta a ponta.

Requisitos obrigatórios:

• Experiência sênior em QA, com foco em produtos digitais ou IA.
• Vivência em testes de agentes conversacionais e fluxos multicanais (voz e texto).
• Domínio de estratégia de testes, critérios de aceite e rastreabilidade de bugs.
• Experiência com testes estatísticos de IA, avaliação de respostas e qualidade conversacional.
• Conhecimento em RAG, LLMs e ferramentas de QA aplicadas a IA.
• Capacidade de estruturar métricas e dashboards de qualidade.
• Disponibilidade para atuação híbrida e contratação PJ.

Diferenciais:

• Experiência com LangFuse e frameworks Judge/Supervisor.
• Atuação prévia em validação de sistemas de IA em escala.
• Vivência em projetos com parceiros e squads multidisciplinares.
• Background em dados, estatística ou ciência de dados.