Précision du Cadre de Raisonnement STAR Chute de 100 % à 0 % dans les Prompts de Production

Un chercheur a testé le cadre de raisonnement STAR en isolation par rapport à une invite de production et a constaté que la précision est passée de 100 % à 0-30 %. Il avait été démontré précédemment que ce cadre augmentait la précision de Claude sur un problème de contrainte implicite de 0 % à 100 % dans des conditions de test propres.

Lorsque le même cadre STAR a été testé dans une véritable invite de production – une invite système de 60 lignes provenant d'une application de coaching pour entretiens qui s'était développée naturellement au fil de mois de développement – la précision a chuté de manière spectaculaire. L'invite de production contenait des directives de style « Commencez par des détails spécifiques » et « D'abord le point principal » qui ont conduit le modèle à produire une conclusion avant que le raisonnement STAR ne puisse s'exécuter.

Dans un cas, le modèle a produit : « Réponse courte : Marchez. » suivi d'une analyse STAR complète qui identifiait correctement la contrainte et concluait « Conduisez votre voiture au lavage. » Le raisonnement STAR a fonctionné correctement, mais la mauvaise réponse avait déjà été engagée dans la sortie initiale.

La découverte clé est que dans la génération autorégressive, une fois que le modèle produit un jeton, ce jeton fait partie du contexte de conditionnement. L'instruction « Commencez par des détails spécifiques » a déclenché un engagement prématuré, et le raisonnement STAR qui a suivi est devenu une rationalisation a posteriori plutôt qu'un guide pour la réponse initiale.

L'implication pratique est que les développeurs qui construisent des systèmes d'IA en production devraient valider les cadres de raisonnement dans leurs invites réelles, et non dans des tests propres de 10 lignes. Une technique qui obtient 100 % en isolation peut obtenir 0 % en production en raison d'instructions conflictuelles ou de la structure de l'invite.