Nueve Patrones Comunes de Fallo en Agentes de Codificación con IA y Validación Previa a la Ejecución

Una publicación de Reddit de r/LocalLLaMA detalla nueve patrones de fallo observados en agentes de codificación con IA y propone un enfoque de validación para detectarlos antes de la ejecución del código.

Patrones de fallo identificados

El autor enumera estos problemas específicos:

• C1 — Manejo incompleto de enumeraciones: El agente hace referencia a valores de estado que no existen en la base de código.
• C2 — Rutas nulas silenciosas: Los parámetros opcionales se omiten silenciosamente sin documentación.
• C3 — Incompatibilidad del patrón de autenticación SSE: EventSource del navegador no puede enviar encabezados personalizados — el agente usa la autenticación incorrecta.
• C4 — Campos de texto sin límite: No hay truncamiento en columnas que reciben descripciones completas de tareas o diferencias.
• C5 — Condición de carrera Evento/BD: El evento SSE se dispara antes de que se complete la escritura en la BD. El frontend consulta una fila vacía.
• C6 — Incompatibilidad Esquema/ORM: El tipo SQL indica que es nullable, el campo ORM indica que es requerido.
• C7 — Expectativas no comprobables: Requisitos de prueba sin ruta de implementación en la especificación.
• C8 — Inserciones no idempotentes: La lógica de reintento crea filas duplicadas.
• C9 — Importaciones alucinadas: El módulo no existe en la base de código.

Enfoque de validación

El autor afirma que ahora ejecutan estos patrones como una fase de validación después de la planificación y antes de la ejecución. Este enfoque supuestamente detecta aproximadamente el 70% de los fallos antes de que se ejecute cualquier código. La publicación concluye preguntando si otros están implementando una validación previa a la ejecución similar en sus flujos de trabajo de agentes.