研究者がClaudeコードの真実性確認スキルを構築、自らのドキュメントに幻覚を発見

真実性検証スキルのアーキテクチャ

マイアミ大学の睡眠科学のバックグラウンドを持つ研究者が、/veracity-tweaked-555というClaude Codeスキルを構築しました。このツールは文書を原子単位の主張に分解し、それぞれをウェブ検索で検証します。各実行で4つの波にわたる16の並列エージェントを使用し、Claude Code（Opus 4.6）との協力で構築されました。Claudeがコードを起草し、研究者が方法論を設計しました。

自己監査結果とエラーパターン

研究者が真実性チェッカーを自らのSKILL.mdドキュメントで実行したところ、100点満点中62点を記録しました。幻覚を検出するために設計されたスキルが、自らのドキュメント内で事実を幻覚として生成していました。これには以下が含まれます：

• パフォーマンス統計の捏造（「SAFEに対して3倍正確」と記載されたが、論文はそのような主張をしていない）
• 論文の改善主張の誇張（「+35.5%」と記載されたが、実際はSOTAに対して+5.5%）
• 実際の手法の頭字語展開の捏造

初期の修正後、スコアは80点に達し、3回目の実行後には84点になりました。1週間後、6回の実行、19のエージェント、35の追加修正を含むより厳密な収束ループを経て、96.5/100点で安定しました。しかし、v3監査では74点に低下しました。これはv1の修正が新たなエラー（過小評価されたトークンコストと不完全なツールリスト）を導入したためです。

エラーは一貫したパターンに従います：帰属の誇張（ソースが保証するよりもわずかに強い表現）、もっともらしいが捏造された識別子（実在するように見えるが異なる論文を指すPMID、arXiv ID）、現在のものとして提示された古い統計。

コンテキストエンジニアリングの課題

単一の監査実行では、16のエージェントで約917Kトークンが生成され、Claude Codeの200Kコンテキストウィンドウを超えます。Claude Codeが制限内に収まるように会話を圧縮すると、不可逆圧縮が行われます。数回の圧縮後、エージェントは発見が互いにどのように関連しているか（どの修正がどの回帰を引き起こしたか、どの主張がどの他の主張と矛盾するか）を見失います。個々の事実（名前、数字、関数シグネチャ）は、それらの間の関連性よりも保持されやすいです。

Claudeの診断によると、関係情報（因果連鎖、相互参照、多段階の依存関係）は、孤立した事実よりも要約で保持するのが難しいということです。

解決策と追加スキル監査

研究者は、/context-engineerというコンパニオンスキルを構築することでこれを解決しました。このスキルはオーバーフローが発生する前に予測し、関係状態をディスク上のJSONファイルに外部化します。設計テスト：会話全体を/clearして状態ファイルのみから再開できる場合、アーキテクチャは正しいとされます。

他のClaude Codeスキルで真実性チェックを実行した結果、以下が明らかになりました：

• あるスキルは帰属セクションに捏造された論文タイトルがありました。引用は完璧に見えましたが（著者、会場）、タイトルは捏造され、年も間違っていました
• 同じスキルは監査フレームワークを誤った標準化団体に帰属させており、複数の場所に現れました
• /context-engineerスキルには内部矛盾があり、文章では「5-10Kトークン」と記載されていたが、同じ指標に対して表では「5-15Kトークン」と記載されていました

すべてのスキルで合計12の修正が必要でした。修正後、すべてのスキルは3回連続実行で95点以上を達成し、合格しました。