Experimento de Auditoria de Segurança Mostra que o Desempenho do Agente de IA Depende do Acesso ao Conhecimento

Um usuário do Reddit conduziu um experimento comparando abordagens de auditoria de segurança por IA no mesmo código-base para testar como o acesso ao conhecimento afeta os resultados. O experimento usou o kit inicial SaaS Next.js de código aberto da BoxyHQ como objeto de teste.

Três Métodos de Auditoria Comparados

O desenvolvedor executou três auditorias de segurança independentes:

• Revisão de segurança integrada do Claude Code: Encontrou 1 crítica, 6 altas e 13 médias
• Agente de IA sem contexto extra: Encontrou 1 crítica, 5 altas e 14 médias
• Agente de IA com 10 livros profissionais de segurança: Encontrou 8 críticas, 9 altas e 10 médias

Principais Descobertas

O agente equipado com livros identificou vulnerabilidades que os outros métodos perderam completamente, incluindo:

• Tokens de redefinição de senha armazenados em texto simples
• Uma condição de corrida TOCTOU (Time-of-Check to Time-of-Use) na validação de token
• Uma flag de recurso que chama res.status(404) mas não retorna, permitindo que a execução continue

O desenvolvedor observou que estes não são casos obscuros, mas o tipo de problema que aparece em violações de segurança reais. O experimento usou o mesmo código-base e o mesmo modelo de IA em todos os três testes, com a única variável sendo o conhecimento que o agente tinha acesso.

Implicações para o Desenvolvimento Assistido por IA

O experimento sugere que os agentes de IA não são limitados pela inteligência, mas pelo conhecimento que podem acessar quando necessário. O desenvolvedor concluiu que o conhecimento de segurança "vive acima do código" em vez de dentro dele, destacando a importância de fornecer referências específicas do domínio para ferramentas de IA, em vez de confiar apenas em seu treinamento base.

Esta abordagem de aumentar agentes de IA com fontes de conhecimento especializadas pode ser particularmente relevante para desenvolvedores que usam assistentes de codificação por IA para revisões de segurança, onde o acesso a referências de segurança atuais e melhores práticas impacta significativamente a qualidade das descobertas.