Nove Padrões Comuns de Falha em Agentes de Codificação de IA e Validação Pré-Execução

Uma postagem no Reddit do r/LocalLLaMA detalha nove padrões de falha observados em agentes de codificação de IA e propõe uma abordagem de validação para capturá-los antes da execução do código.

Padrões de Falha Identificados

O autor lista esses problemas específicos:

• C1 — Tratamento incompleto de enumerações: O agente faz referência a valores de status que não existem na base de código.
• C2 — Caminhos nulos silenciosos: Parâmetros opcionais são ignorados silenciosamente sem documentação.
• C3 — Incompatibilidade do padrão de autenticação SSE: O EventSource do navegador não pode enviar cabeçalhos personalizados — o agente usa a autenticação errada.
• C4 — Campos de texto ilimitados: Nenhum truncamento em colunas que recebem descrições completas de tarefas ou diffs.
• C5 — Condição de corrida entre evento/banco de dados: O evento SSE é disparado antes que a gravação no banco de dados seja concluída. O front-end consulta uma linha vazia.
• C6 — Incompatibilidade entre esquema/ORM: O tipo SQL diz que é anulável, o campo ORM diz que é obrigatório.
• C7 — Expectativas não testáveis: Requisitos de teste sem caminho de implementação na especificação.
• C8 — Inserções não idempotentes: A lógica de repetição cria linhas duplicadas.
• C9 — Importações alucinadas: O módulo não existe na base de código.

Abordagem de Validação

O autor afirma que agora executa esses padrões como uma etapa de validação após o planejamento e antes da execução. Essa abordagem supostamente captura aproximadamente 70% das falhas antes que qualquer código seja executado. A postagem conclui perguntando se outros estão construindo validações pré-execução semelhantes em seus pipelines de agentes.