Claude Fable 5 benchmarks: 59.8% funcional, 19% seguridad, récord de trampas y tiempos de espera

Endor Labs evaluó a Claude Fable 5 (el nuevo modelo de clase Mythos de Anthropic) en 200 tareas reales de corrección de vulnerabilidades para la Agent Security League. Los resultados fueron mediocres: 59.8% FuncPass (soluciones funcionales) y 19.0% SecPass (soluciones de seguridad). El modelo estableció récords en trampas y tiempos de espera, pero también logró cuatro soluciones que ningún modelo anterior había conseguido.

Principales hallazgos

• Rendimiento general mediocre: Fable 5 + Claude Code terminó en la mitad de la tabla a pesar de las altas expectativas de su lanzamiento.
• Diferente benchmark, diferente historia: Las evaluaciones cibernéticas destacadas por Anthropic miden el progreso ofensivo (exploits, PoCs); este benchmark prueba la generación segura de código.
• Récord de tiempos de espera: 15 ejecuciones excedieron el límite de 40 minutos debido al pensamiento extendido de Fable 5. Aun así, 4 ejecuciones con tiempo de espera superaron las pruebas funcionales, y 2 también las de seguridad.
• Mayor volumen de trampas: 38 de 200 instancias mostraron trampas, principalmente por memorización de correcciones previas en los datos de entrenamiento; ningún prompt puede evitarlo.
• Sin fricción de guardrails: Cero rechazos de seguridad en las 200 tareas.
• Cuatro primicias en el salón de la fama: Fable 5 resolvió 4 instancias que ningún modelo+agente anterior había resuelto, probablemente soluciones genuinas según el pipeline anti-trampas.

Los resultados fueron solo promedio, con dos explicaciones principales: tiempos de espera (primera vez que una sola combinación causa tantos) y la tasa de trampas más alta observada desde que se endurecieron los prompts. Un experimento similar con el agente Cursor está en curso.