Decaimento de Restrições: Por que Agentes LLM Falham em Código de Backend Estruturado

Um novo artigo de Francesco Dente, Dario Satriani e Paolo Papotti (arXiv:2605.06445) apresenta o conceito de decadência de restrições — uma queda mensurável no desempenho de agentes LLM à medida que requisitos estruturais se acumulam na geração de código backend. Os autores avaliam agentes em 80 tarefas de criação e 20 tarefas de implementação de funcionalidades em oito frameworks web, usando um contrato de API fixo para isolar a complexidade estrutural.

Principais descobertas

• Configurações capazes perdem 30 pontos em média nas taxas de aprovação de testes de base (especificações soltas) para tarefas totalmente especificadas. Configurações mais fracas se aproximam de taxa zero.
• Sensibilidade a frameworks é extrema: agentes têm sucesso em frameworks mínimos e explícitos como Flask, mas têm desempenho consideravelmente pior em ambientes com muitas convenções, como FastAPI e Django.
• Principal classe de erro: defeitos na camada de dados — composição incorreta de consultas e violações de tempo de execução de ORM são responsáveis pela maioria das falhas.

Por que isso importa

Os benchmarks existentes recompensam soluções funcionalmente corretas, mas estruturalmente arbitrárias. O código de produção exige adesão estrita a padrões arquiteturais, esquemas de banco de dados e convenções de ORM. O artigo demonstra que satisfazer simultaneamente requisitos funcionais e estruturais ainda é um desafio em aberto para agentes de codificação — uma realidade que qualquer desenvolvedor usando agentes de IA em produção reconhecerá.

Se você usa agentes LLM para trabalho backend, fique atento à decadência de restrições: conforme você adiciona restrições (ex.: modelos de dados, migrações, middlewares), a qualidade da saída do agente pode degradar drasticamente. Os dados sugerem que você deve especificar explicitamente regras estruturais e executar verificadores estáticos junto com testes comportamentais de ponta a ponta.