Подход многоагентных дебатов повышает качество рассуждений в больших языковых моделях.

Разработчик на r/LocalLLaMA поделился результатами экспериментов с подходами многоагентных дебатов для улучшения рассуждений языковых моделей. Вместо стандартного рабочего процесса «запрос-ответ» от одной модели этот метод использует несколько ИИ-агентов, которые отвечают на один и тот же вопрос, критикуют друг друга, а затем формируют окончательный ответ.

Как работает этот подход

Эксперимент проводился с использованием CyrcloAI — инструмента, который структурирует процесс, назначая различным агентам конкретные роли:

• Аналитик: Даёт первоначальный ответ на запрос
• Критик: Проверяет и критикует ответы других агентов
• Синтезатор: Объединяет наиболее сильные моменты в окончательный ответ

Каждый агент отвечает на запрос и реагирует на ответы других, прежде чем система выдаёт финальный результат. Особенно отмечалось, что агент-критик указывает на логические скачки или слабые предположения в первоначальных ответах, и эти исправления включаются в окончательный ответ.

Результаты и наблюдения

Разработчик сообщил, что ответы казались «заметно более структурированными и обдуманными» по сравнению с подходами, использующими одну модель. Метод был описан как похожий на самосозерцательные запросы или итеративные циклы рассуждений, но распределённые между отдельными агентами, а не повторяющиеся одним и тем же моделью.

Компромиссы и практические соображения

Этот подход связан с увеличением задержки и расходом токенов, что ставит под вопрос его практичность для повседневных рабочих процессов. Однако улучшение качества рассуждений было настолько значительным, что разработчик исследует, как это можно воспроизвести локально с вариантами Llama.

Разработчик предположил, что это потенциально можно реализовать с помощью ролевых запросов и простого цикла критики перед финальным этапом синтеза, и ищет мнение сообщества о подобных экспериментах с локальными моделями.