Бенчмарк проверки кода ИИ: сравнение Claude, Gemini, Codex, Qwen и MiniMax

Сравнение производительности ИИ при ревью кода
Недавний эксперимент провёл сравнительный анализ пяти флагманских моделей ИИ для ревью кода, используя 15 пулл-реквестов из Milvus — открытой векторной базы данных. Каждый PR содержал известные баги, которые проявились в продакшене после слияния, что обеспечило реалистичный набор для тестирования.
Модели и настройка
Протестированные модели:
- Claude Opus 4.6
- Gemini 3 Pro
- GPT-5.2-Codex
- Qwen-3.5-Plus
- MiniMax-M2.5
Тестирование использовало Magpie — инструмент с открытым исходным кодом, который подготавливает контекст, подтягивая окружающий код, цепочки вызовов и связанные модули, прежде чем передать его модели.
Уровни сложности багов
Багы были классифицированы по сложности:
- L1: Видны только из diff (все модели их обнаружили, поэтому исключены из подсчёта очков)
- L2 (10 случаев): Требуют понимания окружающего кода (изменения интерфейсов, гонки состояний)
- L3 (5 случаев): Требуют понимания на уровне системы (несоответствия между модулями, совместимость при обновлении)
Результаты по моделям
Использовались два режима оценки:
- Raw: Модель видит только diff и содержимое PR
- R1: Magpie предоставляет окружающий контекст
Общие показатели обнаружения (только L2 + L3):
- Claude: 53% raw, 47% с контекстом
- Gemini: 13% raw, 33% с контекстом
- Codex: 33% raw, 27% с контекстом
- MiniMax: 27% raw, 33% с контекстом
- Qwen: 33% raw, 40% с контекстом
Ключевые выводы
Claude доминировал в raw-ревью с обнаружением 53% и идеальным результатом 5/5 по багам L3. Он отлично организует собственный контекст, поэтому дополнительный контекст фактически снизил его производительность.
Gemini показал слабые результаты в режиме raw (13%), но значительно улучшился с контекстом (33%), что говорит о необходимости предоставления контекста заранее.
Qwen оказался самым сильным исполнителем с контекстной помощью — 40%, с наивысшим обнаружением багов L2 (5/10).
Результаты состязательных дебатов
Когда модели дискутировали друг с другом в течение пяти раундов, обнаружение багов выросло с 53% (лучшая одиночная модель) до 80%. Самые сложные баги L3 достигли 100% обнаружения в режиме дебатов.
Эксперимент показывает, что разные модели обладают взаимодополняющими сильными сторонами: тщательность Claude, дизайн-ориентированный анализ Gemini при наличии контекста, конкретная и практическая обратная связь Codex, а также сильная производительность Qwen с контекстной помощью.
📖 Read the full source: HN AI Agents
👀 Смотрите также

Открытый ассистент JARVIS для рабочего стола, созданный с помощью Claude Code за 2 дня
Разработчик создал настольный ИИ-ассистент для macOS под названием JARVIS за 1-2 дня, используя Claude Code в качестве основного инструмента разработки. Приложение имеет голографический интерфейс, 18 встроенных инструментов для управления системой, голосовое управление и интеграции с Gmail, Google Calendar, Notion, GitHub и Obsidian.

Сервер Pepper MCP для взаимодействия с iOS-симулятором и отладки
Pepper — это MCP-сервер, который внедряет динамическую библиотеку (dylib) в приложения симулятора iOS через переменную окружения DYLD_INSERT_LIBRARIES, обеспечивая взаимодействие в реальном времени, чтение экрана, нажатие кнопок, инспекцию переменных и мониторинг сетевого трафика через WebSocket-мост.

OpenHelm: Приложение для macOS для автоматизации задач кодирования с помощью Claude
OpenHelm — это бесплатное локальное приложение для macOS, которое автоматизирует повторяющиеся задачи кодирования в Claude, запуская задания по расписанию, автоматически повторяя неудачные попытки и разбивая работу на части, чтобы избежать ограничений сессий. Оно использует вашу существующую подписку Claude для вызовов LLM.

Interact MCP: Быстрый веб-сёрфинг для Claude Code с постоянным браузером Chromium
Interact MCP — это инструмент Model Context Protocol, который поддерживает постоянный браузер Chromium в процессе, сокращая время выполнения действий в браузере с 2-5 секунд до 5-50 мс после первого вызова. Он включает систему ссылок для взаимодействия с элементами без CSS-селекторов и содержит 46 инструментов для веб-автоматизации.