Pesquisa sobre a Consistência de Agentes de IA: Principais Descobertas e Aplicações Práticas

Resultados da Pesquisa sobre Consistência de Agentes

Pesquisa compartilhada no r/ClaudeAI examina uma questão crítica no desenvolvimento de agentes de IA: autoinconsistência, onde agentes fornecem respostas diferentes em tarefas idênticas. O estudo envolveu 3.000 experimentos com prompts e entradas consistentes em três modelos principais.

Métricas de Desempenho Principais

• Agentes consistentes alcançaram 80–92% de precisão
• Agentes inconsistentes caíram para 25–60% de precisão
• Isso representa uma diferença de desempenho de 32–55 pontos

Padrões de Divergência

A pesquisa identificou padrões específicos na inconsistência dos agentes:

• 69% da divergência ocorre na primeira chamada de ferramenta
• Consultas de busca iniciais são o ponto crítico de falha
• Chamadas iniciais corretas levam à convergência subsequente
• Chamadas iniciais incorretas fazem as execuções se dispersarem

Sinais de Diagnóstico Práticos

O comprimento do caminho serve como um sinal de diagnóstico barato: agentes que levam 8 passos em uma tarefa de 3 passos geralmente estão perdidos, em vez de serem minuciosos.

Recomendação de Teste Imediato

A conclusão prática é direta: execute seu agente 3–5 vezes em paralelo. Se as trajetórias concordarem, você pode confiar na saída. Se elas se dispersarem, não implemente essa versão.

Recursos da Pesquisa

O artigo completo está disponível em https://arxiv.org/abs/2602.11619 com uma descrição detalhada em https://amcortex.substack.com/p/run-your-agent-10-times-you-wont.