Бенчмарк проверки кода ИИ: сравнение Claude, Gemini, Codex, Qwen и MiniMax

Сравнение производительности ИИ при ревью кода

Недавний эксперимент провёл сравнительный анализ пяти флагманских моделей ИИ для ревью кода, используя 15 пулл-реквестов из Milvus — открытой векторной базы данных. Каждый PR содержал известные баги, которые проявились в продакшене после слияния, что обеспечило реалистичный набор для тестирования.

Модели и настройка

Протестированные модели:

• Claude Opus 4.6
• Gemini 3 Pro
• GPT-5.2-Codex
• Qwen-3.5-Plus
• MiniMax-M2.5

Тестирование использовало Magpie — инструмент с открытым исходным кодом, который подготавливает контекст, подтягивая окружающий код, цепочки вызовов и связанные модули, прежде чем передать его модели.

Уровни сложности багов

Багы были классифицированы по сложности:

• L1: Видны только из diff (все модели их обнаружили, поэтому исключены из подсчёта очков)
• L2 (10 случаев): Требуют понимания окружающего кода (изменения интерфейсов, гонки состояний)
• L3 (5 случаев): Требуют понимания на уровне системы (несоответствия между модулями, совместимость при обновлении)

Результаты по моделям

Использовались два режима оценки:

• Raw: Модель видит только diff и содержимое PR
• R1: Magpie предоставляет окружающий контекст

Общие показатели обнаружения (только L2 + L3):

• Claude: 53% raw, 47% с контекстом
• Gemini: 13% raw, 33% с контекстом
• Codex: 33% raw, 27% с контекстом
• MiniMax: 27% raw, 33% с контекстом
• Qwen: 33% raw, 40% с контекстом

Ключевые выводы

Claude доминировал в raw-ревью с обнаружением 53% и идеальным результатом 5/5 по багам L3. Он отлично организует собственный контекст, поэтому дополнительный контекст фактически снизил его производительность.

Gemini показал слабые результаты в режиме raw (13%), но значительно улучшился с контекстом (33%), что говорит о необходимости предоставления контекста заранее.

Qwen оказался самым сильным исполнителем с контекстной помощью — 40%, с наивысшим обнаружением багов L2 (5/10).

Результаты состязательных дебатов

Когда модели дискутировали друг с другом в течение пяти раундов, обнаружение багов выросло с 53% (лучшая одиночная модель) до 80%. Самые сложные баги L3 достигли 100% обнаружения в режиме дебатов.

Эксперимент показывает, что разные модели обладают взаимодополняющими сильными сторонами: тщательность Claude, дизайн-ориентированный анализ Gemini при наличии контекста, конкретная и практическая обратная связь Codex, а также сильная производительность Qwen с контекстной помощью.