Componentes de un Agente de Codificación: Cómo las Herramientas, la Memoria y el Contexto Amplían los LLMs

Sebastián Raschka describe la arquitectura de los agentes de codificación, que son sistemas que envuelven a los LLM en capas de aplicación para mejorar el rendimiento en tareas de programación. Distingue entre LLM, modelos de razonamiento y agentes, explicando que gran parte del progreso práctico en los sistemas de LLM proviene de los componentes del sistema circundante, no solo de mejores modelos.

Componentes Clave de los Agentes de Codificación

El artículo identifica seis componentes principales que hacen efectivos a los agentes de codificación:

• Contexto del repositorio: Navegación y gestión de la información del repositorio de código
• Diseño de herramientas: Integración de herramientas y funciones externas
• Estabilidad de la caché de prompts: Gestión consistente de prompts entre sesiones
• Memoria: Retención de estado y continuidad de sesión
• Continuidad de sesiones largas: Mantener el contexto durante interacciones extendidas
• Elección del modelo: Selección del LLM o modelo de razonamiento apropiado

Capas de Arquitectura

Raschka define varios conceptos clave en el ecosistema de agentes:

• LLM: El modelo central de siguiente token
• Modelo de razonamiento: Un LLM entrenado o preparado para dedicar más tiempo de inferencia al razonamiento intermedio, verificación o búsqueda sobre respuestas candidatas
• Agente: Un bucle de control alrededor del modelo que decide qué inspeccionar a continuación, qué herramientas llamar, cómo actualizar su estado y cuándo detenerse
• Marco de agente: El andamiaje de software alrededor de un agente que gestiona el contexto, el uso de herramientas, los prompts, el estado y el flujo de control
• Marco de codificación: Un caso especial de marco de agente específicamente para ingeniería de software que gestiona el contexto del código, herramientas, ejecución y retroalimentación iterativa

Señala que Claude Code y Codex CLI pueden considerarse marcos de codificación. La relación se describe así: el LLM es el motor, un modelo de razonamiento es un motor potenciado, y un marco de agente nos ayuda a usar el modelo de manera efectiva.

El trabajo de codificación implica más que solo la generación del siguiente token: requiere navegación por repositorios, búsqueda, consulta de funciones, aplicación de diferencias, ejecución de pruebas, inspección de errores y gestión de contexto. Los marcos de codificación combinan tres capas: la familia de modelos, un bucle de agente y soportes de tiempo de ejecución.