Соперничающий обзор: Межмодельный цикл оценки планов ИИ-агентов

Что это такое

Rival-review — это инструмент, который решает распространённую проблему, когда ИИ-агенты кодирования создают правдоподобные планы, которые начинают выполняться без должной проверки на устойчивость. Основная идея проста: модель, которая предлагает план, не является моделью, которая его проверяет.

Как это работает

Цикл прост:

• Планировщик создаёт план
• Claude проверяет его в рамках заданного контекста
• Проблемы возвращаются на доработку
• Цикл продолжается, пока проверка не пройдена или не достигнут лимит итераций

Вторая модель проверяет план в режиме только для чтения перед началом реализации. Эта перекрёстная проверка выявляет не просто «шлифовку плана»:

• Планы отката, которые фактически не откатывают изменения
• Схемы разрешений с реальными уязвимостями безопасности
• Контрольные точки, принимающие решения на основе устаревших данных
• Многошаговые планы, которые кажутся согласованными, пока вторая модель не пройдёт весь поток

Ключевые проектные решения

Несколько проектных решений оказались очень важными:

• Проверяющая модель должна работать в режиме только для чтения
• Автоматический цикл требует жёсткого ограничения по итерациям
• Ограниченный контекст имеет большое значение
• Живая панель управления делает цикл проверки наблюдаемым, а не скрытым

Детали реализации

Инструмент работает с разными планировщиками:

• Claude Code может использовать встроенный хук выхода из планирования
• Codex и другие оркестраторы могут использовать явную контрольную точку планировщика

Создатель использовал его для помощи в собственной разработке: Codex планировал, Claude проверял, и дизайн сходился за несколько итераций.

Доступность

Инструмент имеет лицензию MIT и доступен на GitHub по адресу github.com/alexw5702-afk/rival-review.