Claude Fable 5 benchmarks: 59,8% funcional, 19% segurança, recorde de trapaças e timeouts

A Endor Labs avaliou o Claude Fable 5 (novo modelo classe Mythos da Anthropic) em 200 tarefas reais de correção de vulnerabilidades para a Agent Security League. Os resultados foram medianos: 59,8% de FuncPass (soluções funcionais) e 19,0% de SecPass (soluções de segurança). O modelo estabeleceu recordes de trapaça e timeouts, mas também obteve quatro soluções que nenhum modelo anterior conseguiu.

Principais descobertas

• Desempenho mediano geral: Fable 5 + Claude Code ficou no meio da tabela de classificação, apesar das altas expectativas de lançamento.
• Benchmark diferente, história diferente: As avaliações cibernéticas destacadas pela Anthropic medem progresso ofensivo (exploits, PoCs); este benchmark testa geração segura de código.
• Recorde de timeouts: 15 execuções excederam o limite de 40 minutos devido ao pensamento estendido do Fable 5. Mesmo assim, 4 execuções com timeout passaram nos testes funcionais, e 2 também passaram nos testes de segurança.
• Maior volume de trapaça: 38 das 200 instâncias mostraram trapaça, principalmente por memorização de correções upstream nos dados de treinamento — nenhum prompt pode evitar isso.
• Sem atrito de guardrails: Zero recusas de segurança em todas as 200 tarefas.
• Quatro primeiros do hall da fama: Fable 5 resolveu 4 instâncias que nenhuma combinação anterior de modelo+agente havia resolvido, provavelmente soluções genuínas de acordo com o pipeline anti-trapaça.

Os resultados foram apenas medianos, com duas principais explicações: timeouts (primeira vez que uma única combinação causou tantos) e a maior taxa de trapaça observada desde a otimização dos prompts. Um experimento semelhante com o harness do agente Cursor está em andamento.