Analizando herramientas de codificación con IA: Diseccionando 3,177 llamadas a la API.

El análisis reciente realizado en cuatro herramientas de codificación AI—Claude Code Opus 4.6, Claude Code Sonnet 4.5, Codex GPT-5.3 y Gemini 2.5 Pro—destaca diferencias sustanciales en la gestión de las ventanas de contexto de las llamadas a la API. Utilizando el trazador Context Lens, el estudio interceptó 3,177 llamadas a la API para evaluar la eficiencia y estrategia de las herramientas en el manejo de la ventana de contexto al realizar correcciones de errores en un entorno de Express.js.

Cada herramienta de codificación abordó un error específico—una comprobación de nulos mal organizada en res.send(). A Opus, Sonnet, Codex y Gemini se les asignó la tarea de identificar y corregir el error, seguido de la ejecución de la suite de pruebas para verificar la corrección. Todos tuvieron éxito, aunque con enfoques y recursos variados.

Claude Code Opus 4.6 utilizó de manera consistente entre 23K y 27K tokens, que en su mayoría consistían en definiciones de herramientas (69% del contexto). Esto indica una dependencia en volver a enviar estas definiciones debido a la arquitectura, lo que provoca una sobrecarga significativa de caché. Codex (GPT-5.3) presentó un rango más amplio de 29.3K a 47.2K tokens, principalmente resultados de herramientas (72%), proporcionando más variabilidad dependiendo de la especificidad del comando de prueba. Sonnet, con una variación similar, mezcló definiciones y resultados de manera más equilibrada.

Gemini se destaca por su uso desproporcionado de tokens, alcanzando un pico de 350.5K, utilizando casi exclusivamente resultados de herramientas (96%), aprovechando su amplia ventana de contexto de 1M. A pesar de un costo por token inferior, el patrón de uso inconsistente y expansivo de Gemini sin convergencia a través de las ejecuciones indica una estrategia única, aunque menos eficiente.

Estos hallazgos ilustran disparidades considerables en cómo las herramientas de codificación AI gestionan las ventanas de contexto, afectando tanto el rendimiento como la eficiencia de costos. Los desarrolladores deberían considerar las estrategias de uso de tokens al elegir la herramienta adecuada para sus necesidades, particularmente para tareas que implican cambios iterativos o historias de proyectos extensas.