Исследование согласованности ИИ-агентов: ключевые выводы и практические рекомендации

Результаты исследования согласованности агентов

Исследование, опубликованное на r/ClaudeAI, рассматривает критическую проблему в разработке ИИ-агентов: самопротиворечивость, когда агенты дают разные ответы на идентичные задачи. В исследовании было проведено 3000 экспериментов с одинаковыми промптами и входными данными на трёх основных моделях.

Ключевые показатели эффективности

• Согласованные агенты достигли точности 80–92%
• Точность несогласованных агентов упала до 25–60%
• Это разрыв в производительности на 32–55 пунктов

Паттерны расхождений

Исследование выявило конкретные паттерны в несогласованности агентов:

• 69% расхождений происходит при самом первом вызове инструмента
• Начальные поисковые запросы являются критической точкой сбоя
• Правильные начальные вызовы приводят к последующей сходимости
• Неправильные начальные вызовы вызывают рассеивание запусков

Практические диагностические сигналы

Длина пути служит дешёвым диагностическим сигналом: агенты, выполняющие 8 шагов для 3-шаговой задачи, обычно заблудились, а не проявляют тщательность.

Рекомендация по немедленному тестированию

Практический вывод прост: запустите вашего агента 3–5 раз параллельно. Если траектории совпадают, вы можете доверять результату. Если они расходятся, не внедряйте эту реализацию.

Ресурсы исследования

Полная статья доступна по адресу https://arxiv.org/abs/2602.11619 с подробным описанием на https://amcortex.substack.com/p/run-your-agent-10-times-you-wont.