Decaimiento de Restricciones: Por qué los Agentes LLM Fallan en Código de Backend Estructurado

Un nuevo artículo de Francesco Dente, Dario Satriani y Paolo Papotti (arXiv:2605.06445) introduce la degradación por restricciones — una caída medible en el rendimiento de los agentes LLM a medida que se acumulan requisitos estructurales en la generación de código backend. Los autores evalúan agentes en 80 tareas desde cero y 20 tareas de implementación de funcionalidades que abarcan ocho frameworks web, utilizando un contrato API fijo para aislar la complejidad estructural.

Principales hallazgos

• Las configuraciones capaces pierden 30 puntos en promedio en tasas de aprobación de aserciones desde la línea base (especificaciones laxas) hasta tareas completamente especificadas. Las configuraciones más débiles se acercan a una tasa de aprobación de cero.
• La sensibilidad al framework es extrema: los agentes tienen éxito en frameworks mínimos y explícitos como Flask, pero rinden considerablemente peor en entornos con muchas convenciones como FastAPI y Django.
• Clase de error principal: defectos en la capa de datos — la composición incorrecta de consultas y las violaciones de ORM en tiempo de ejecución representan la mayoría de los fallos.

Por qué es importante

Los benchmarks existentes recompensan soluciones funcionalmente correctas pero estructuralmente arbitrarias. El código de producción exige una adherencia estricta a patrones arquitectónicos, esquemas de bases de datos y convenciones de ORM. El artículo demuestra que satisfacer conjuntamente los requisitos funcionales y estructurales sigue siendo un desafío abierto para los agentes de codificación — una realidad que cualquier desarrollador que use agentes de IA en producción reconocerá.

Si estás usando agentes LLM para trabajo backend, presta atención a la degradación por restricciones: a medida que agregas restricciones (por ejemplo, modelos de datos, migraciones, middleware), la calidad del resultado del agente puede degradarse drásticamente. Los datos sugieren que debes especificar explícitamente las reglas estructurales y ejecutar verificadores estáticos junto con pruebas de comportamiento de extremo a extremo.