STAR推論フレームワークの精度が本番環境でのプロンプトで100%から0%に低下

ある研究者がSTAR推論フレームワークを単独で使用した場合と実際のプロダクションプロンプト内で使用した場合を比較し、精度が100%から0-30%に低下したことを発見しました。このフレームワークは、クリーンなテスト環境ではClaudeの暗黙の制約問題に対する精度を0%から100%に向上させることが以前に示されていました。

まったく同じSTARフレームワークを、実際のプロダクションプロンプト（数ヶ月の開発期間を経て自然に成長した面接コーチングアプリの60行のシステムプロンプト）内でテストしたところ、精度は劇的に低下しました。このプロダクションプロンプトには「具体的な内容から始める」や「結論を先に述べる」といったスタイルガイドラインが含まれており、STAR推論が実行される前にモデルが結論を出力してしまう原因となりました。

あるケースでは、モデルは「短い回答：歩く。」と出力し、その後に完全なSTAR分析を続けました。この分析では制約を正しく特定し、「車を洗車場に運転していく」と結論づけていました。STAR推論自体は正しく機能していましたが、最初の出力で間違った回答がすでに確定してしまっていたのです。

重要な発見は、自己回帰生成において、モデルがトークンを出力すると、そのトークンがコンテキストの一部になるということです。「具体的な内容から始める」という指示が早期の回答確定を引き起こし、続くSTAR推論は初期の回答を導くのではなく、事後的な合理化になってしまいました。

実用的な示唆として、プロダクションAIシステムを構築する開発者は、推論フレームワークをクリーンな10行のテストではなく、実際のプロンプト内で検証すべきです。単独では100%のスコアを出す技術でも、矛盾する指示やプロンプト構造のために、プロダクションでは0%のスコアになる可能性があります。