AutoBe: Como LLMs Locais Fracos Corrigiram a Arquitetura de um Gerador de Backend de IA

O Que Aconteceu

AutoBe é um agente de IA de código aberto que gera aplicativos backend completos usando TypeScript, NestJS e Prisma. Inicialmente, alcançou 100% de sucesso na compilação, mas o código era impossível de manter - não havia reutilização de código, então cada pequena alteração exigia regenerar tudo. A equipe reconstruiu o sistema em torno da geração modular de código, o que imediatamente derrubou a taxa de sucesso para 40%.

A Descoberta na Depuração

Quando a nova arquitetura introduziu dependências entre módulos, a equipe usou LLMs locais intencionalmente fracos para encontrar bugs que não sabiam que existiam. O modelo qwen3-30b-a3b-thinking tinha cerca de 10% de taxa de sucesso e expôs ambiguidades de esquema AST e estruturas malformadas. O modelo qwen3-next-80b-a3b-instruct tinha cerca de 20% de taxa de sucesso e revelou incompatibilidades de tipo e casos extremos em relacionamentos aninhados.

Essa baixa taxa de sucesso foi valiosa: cada correção apertou todo o sistema. Quando um esquema é preciso o suficiente para que um modelo de 30B não possa interpretá-lo mal, modelos mais fortes também não errarão. Essa abordagem também destaca a vantagem de custo dos LLMs locais - descobrir casos extremos requer centenas de ciclos de geração-compilação-diagnóstico, o que seria proibitivamente caro nos preços de API em nuvem.

Mudança Arquitetural

A equipe mudou da engenharia de prompt para o design de esquema com feedback de validação. Eles reduziram os prompts do sistema para quase nada e moveram todas as restrições para esquemas de chamada de função, deixando o feedback de validação fazer o ensino. O AutoBe usa três tipos AST que são particularmente desafiadores para LLMs gerarem: AutoBeDatabase (modelos Prisma, relações, índices), AutoBeOpenApi (esquemas OpenAPI, endpoints, DTOs) e AutoBeTest (30+ tipos de expressão).

Essas estruturas são difíceis porque envolvem tipos de união ilimitados, profundidade ilimitada e referências recursivas. Por exemplo, o AST do compilador inclui tipos como IArrayLiteralExpression e IObjectLiteralExpression que contêm referências recursivas a IExpression[].

Resultados

Apenas através do feedback de validação, a equipe melhorou de 6,75% de sucesso bruto em chamadas de função para 100%. Eles agora estão de volta a 100% de sucesso com GLM v5, e outros modelos locais estão subindo em desempenho.