Punto de Referencia de Revisión de Código con IA: Comparación de Claude, Gemini, Codex, Qwen y MiniMax

Comparación del Rendimiento de Revisión de Código con IA
Un experimento reciente evaluó cinco modelos de IA principales para revisión de código utilizando 15 solicitudes de extracción de Milvus, una base de datos vectorial de código abierto. Cada PR contenía errores conocidos que surgieron en producción después de fusionarse, proporcionando un conjunto de pruebas realista.
Modelos y Configuración
Los modelos evaluados fueron:
- Claude Opus 4.6
- Gemini 3 Pro
- GPT-5.2-Codex
- Qwen-3.5-Plus
- MiniMax-M2.5
El benchmark utilizó Magpie, una herramienta de código abierto que prepara el contexto extrayendo el código circundante, cadenas de llamadas y módulos relacionados antes de alimentarlo al modelo.
Niveles de Dificultad de Errores
Los errores se categorizaron por dificultad:
- L1: Visibles solo desde el diff (todos los modelos los detectaron, por lo que se excluyeron de la puntuación)
- L2 (10 casos): Requiere comprensión del código circundante (cambios de interfaz, condiciones de carrera de concurrencia)
- L3 (5 casos): Requiere comprensión a nivel de sistema (inconsistencias entre módulos, compatibilidad de actualización)
Resultados por Modelo
Se utilizaron dos modos de evaluación:
- Crudo: El modelo solo ve el diff y contenido del PR
- R1: Magpie proporciona contexto circundante
Tasas de detección generales (solo L2 + L3):
- Claude: 53% crudo, 47% con contexto
- Gemini: 13% crudo, 33% con contexto
- Codex: 33% crudo, 27% con contexto
- MiniMax: 27% crudo, 33% con contexto
- Qwen: 33% crudo, 40% con contexto
Hallazgos Clave
Claude dominó la revisión cruda con 53% de detección y perfecto 5/5 en errores L3. Destaca en organizar su propio contexto, por lo que el contexto adicional realmente redujo su rendimiento.
Gemini tuvo un rendimiento pobre en modo crudo (13%) pero mejoró significativamente con contexto (33%), sugiriendo que necesita contexto proporcionado de antemano.
Qwen fue el mejor desempeño asistido por contexto con 40%, con la mayor detección de errores L2 (5/10).
Resultados del Debate Adversario
Cuando los modelos debatieron entre sí durante cinco rondas, la detección de errores saltó del 53% (mejor modelo individual) al 80%. Los errores L3 más difíciles alcanzaron 100% de detección en modo debate.
El experimento revela que diferentes modelos tienen fortalezas complementarias: la exhaustividad de Claude, el análisis centrado en diseño de Gemini cuando se le da contexto, la retroalimentación concreta y accionable de Codex, y el fuerte rendimiento asistido por contexto de Qwen.
📖 Read the full source: HN AI Agents
👀 Ver también

Dándole a Claude un LLM local como asistente mediante MCP en Mac
Un desarrollador conecta Claude a un Qwen 2.5 Coder 14B local mediante Ollama y MCP, creando un asistente sin costo para delegar tareas como procesamiento de texto y manejo de archivos grandes.

Título: SprintiQ: Planificación de Sprints de Código Abierto para Claude Code
SprintiQ es una plataforma ágil de código abierto que actúa como una capa de orquestación para Claude Code, ofreciendo generación de historias de usuario potenciada por IA, planificación de sprints, seguimiento de velocidad y una CLI que sincroniza la actividad de git con los sprints en tiempo real.

Voxray-AI: Backend de Producción en Go para Pipelines de Agentes de Voz en Tiempo Real
Voxray-AI es un backend en Go que encadena Whisper → cualquier LLM → TTS en una canalización de agente de voz en tiempo real con soporte para WebSocket y WebRTC. Está construido para servidores de grado de producción y cargas de trabajo de voz de alta concurrencia con proveedores configurables para las capas de STT, LLM y TTS.

Servidor MCP de ConnectSafely AI Vincula LinkedIn con Claude para Control Directo
ConnectSafely AI proporciona un servidor MCP que conecta LinkedIn directamente a Claude, permitiendo a los usuarios enviar mensajes, buscar personas, verificar visitantes de perfil y realizar seguimiento de conversaciones mediante prompts sin cambiar de pestañas.