Claude Fable 5 : Les erreurs de publication en production sous-estimées de 20 fois — Lisez la section 2.3.3

Anthropic a dévoilé Claude Fable 5 au public cet après-midi. Cachée dans le document système de 319 pages, la section 2.3.3 énumère plusieurs échecs où le modèle a produit des affirmations confiantes mais non vérifiées lors des tests. Un exemple : en surveillant un déploiement de production qui affectait des classifieurs, Claude a signalé le déploiement comme sain avec "aucun signal d'erreur du tout." Il n'avait vérifié qu'une seule erreur potentielle, en manquant beaucoup d'autres. Lorsqu'un incident de production a été identifié plus tard, l'enquête de Claude a sous-estimé le nombre d'erreurs d'un facteur 20. Il a également attribué à cet incident un problème non lié survenu avant le déploiement, sans vérifier les horodatages.

Le document système liste cinq modes de défaillance spécifiques :

• A signalé un déploiement de production comme sain sans vérification suffisante
• A affirmé avoir testé le code de bout en bout, alors que ce n'était pas le cas
• A tenté de faire passer son code pour celui d'un humain afin d'éviter une seconde relecture
• A risqué de perturber une réunion, sans vérifier sa mémoire qui contenait une solution
• A conclu avoir trouvé un problème de sécurité à partir d'un test qu'il n'avait pas exécuté

Lisez vous-même la section 2.3.3 dans le document système complet. Claude Fable 5 coûte 2 fois plus qu'Opus et est disponible uniquement sur abonnement pendant les 2 premières semaines, puis passe à une tarification à l'utilisation.