Estudio de ETH Zurich: El contexto excesivo reduce el rendimiento de los agentes de IA para programación

Un estudio reciente de ETH Zurich proporciona evidencia concreta de que más contexto no necesariamente significa un mejor rendimiento para los agentes de codificación de IA. La investigación probó cuatro agentes de codificación en 138 tareas reales de GitHub, con resultados cuantitativos claros.

Hallazgos clave

El estudio reveló que los archivos de contexto generados por LLM en realidad redujeron las tasas de éxito de las tareas en un 2-3% mientras los costos de inferencia aumentaron en un 20%. Incluso los archivos de contexto escritos por humanos solo mejoraron el éxito en aproximadamente un 4%, mientras que aún aumentaban significativamente los costos.

El problema central

Los investigadores descubrieron que los agentes trataban cada instrucción en los archivos de contexto como algo que debía ejecutarse. En un experimento, cuando redujeron los repositorios solo al archivo de contexto generado, el rendimiento mejoró nuevamente. Esto indica que los agentes tienen dificultades para distinguir entre instrucciones esenciales e información histórica irrelevante.

Recomendaciones prácticas

El estudio recomienda incluir solo información que el agente genuinamente no pueda descubrir por sí mismo, manteniendo el contexto al mínimo. Esto es particularmente relevante para datos de comunicación como hilos de correo electrónico, que pueden parecer contexto pero a menudo se interpretan como instrucciones cuando en realidad son ruido histórico.

Solución de API de contexto

Para abordar este problema, los investigadores desarrollaron una API de contexto (iGPT) que se centra en el procesamiento de correo electrónico. La API:

• Reconstruye hilos de correo electrónico en gráficos de conversación antes de que el contexto llegue al modelo
• Elimina duplicados de texto citado
• Detecta quién dijo qué y cuándo
• Devuelve JSON estructurado en lugar de texto sin procesar

Este enfoque garantiza que los agentes reciban contexto filtrado en lugar de historiales completos de conversación, mejorando su capacidad para concentrarse en información relevante.