AIモデルは自らのツールとUIについて自己認識を持たない

AIコーディングアシスタントにおける重大なユーザビリティの欠陥が明らかになりました：ChatGPTやClaudeなどのモデルは、自らのツールやユーザーインターフェースについて正確な知識を頻繁に欠いています。ユーザーが画面上に見える機能について尋ねると、AIは誤った情報で応答することがよくあります。

問題の具体的な例

ユーザーレポートによると、これらのモデルはいくつかの一貫した失敗パターンを示します：

• 既存機能の否定： Claude Codeが新しいスラッシュコマンドを表示しているときに、ユーザーがその機能を尋ねると、モデルはそのコマンドが存在しないと否定します。
• 古いバージョンの説明： ChatGPTのメモリ、統合機能、設定などの機能について尋ねられると、モデルは1〜2年前のUIバージョンに基づいた回答を提供します。
• もっともらしい作り話： モデルは時折、実際の機能と一致しないが理にかなっているように聞こえる説明をでっち上げることがあります。

現在の回避策とその限界

唯一利用可能な回避策は、ウェブ取得機能を使ってAIに「調べさせる」ことを強制することですが、このアプローチには重大な問題があります：

• 取得操作が完全に失敗することが多い
• AIが誤ったドキュメントにアクセスすることが頻繁にある
• 権限や可用性の問題によりコンテンツにアクセスできない場合がある

根本原因の分析

この核心的な問題は、AIの学習方法と製品開発サイクルの根本的な不一致に起因しています。これらのモデルは歴史的なデータスナップショットで学習されていますが、それらが組み込まれている製品は継続的に進化しています。これにより、AIはユーザーが操作するはずのツール自体と同期が取れない状況が生まれます。

これが重大な設計上の欠陥である理由

AIが製品インターフェースに統合される場合、以下の正確で最新の知識を維持する必要があります：

• 自らの機能
• 自らのユーザーインターフェース
• 自らのコマンドと能力

この自己認識がなければ、AIはユーザビリティを向上させるどころか積極的に害を及ぼし、混乱を生み出し、ツールへの信頼を低下させます。

提案される解決策

ソースでは、いくつかのアーキテクチャ上の改善が提案されています：

• 製品内に、現在の機能の内部APIまたはスキーマとして機能する、ライブで構造化された「自己認識」レイヤー
• 現在のUIと能力に特化して継続的に更新される小型モデル
• メインモデルが製品関連の質問に答える際にこの自己認識レイヤーにアクセスできるクエリシステム

基本的な原則は、AIが古い学習データに基づいて推測するのではなく、自らの環境を内省できるべきだということです。