AIエージェントにおけるコンテクスト品質の低下:トークン数に伴う幻覚率の増加

✍️ OpenClawRadar📅 公開日: March 28, 2026🔗 Source
AIエージェントにおけるコンテクスト品質の低下:トークン数に伴う幻覚率の増加
Ad

コンテキストウィンドウの性能テスト結果

開発者がAIエージェントにおける異なるトークン数でのコンテキスト品質の劣化をテストした結果、コンテキストサイズの増加に伴う重大な性能問題が明らかになりました。

テストからの主な発見

このテストでは、いくつかの重要な指標が測定されました:

  • コンテキストサイズ別の幻覚発生率:
    • 10Kトークン:約3%
    • 50Kトークン:約11%
    • 200Kトークン:約28%
    • 1Mトークン:不明ですが、傾向としては劣化が進んでいます
  • 想起精度: コンテキストが50Kトークンを超えると、GPT-4、Claude、ローカルモデルを含むどのテスト済みモデルも、最初の10ターンの情報について90%の想起精度を達成できませんでした。
  • トークン効率: 200Kトークンでは、ほとんどのエージェントタスクにおいて、現在のクエリに実際に関連するコンテキストの割合が12%を下回り、約188Kトークンがモデルが推論しなければならないノイズを追加していることを意味します。

問題分析

この問題は、忘却ではなく注意の枯渇であるように見えます。初期のコンテキストは最近のコンテキストと競合し、通常は位置的な関連性が高いため最近のコンテキストが優勢になります。これにより、セッションの初期に設定された制約(「PostgreSQLを使用し、ORMは使用しない」など)は、より多くのコンテキストが蓄積されるにつれて徐々に薄まっていきます。

200Kトークンで89ターン目まで進むと、モデルの注意はコンテキスト全体に広がりすぎて、初期の制約は事実上消えてしまいます。

現在の解決策と限界

多くの開発者は、「関連する」メモリを取得するためにベクトルデータベースを追加しており、これはある程度役立ちます。しかし、このアプローチは、エージェントが正しい推論に必要なものではなく、意味的に類似したコンテンツを取得します。例えば、「PostgreSQLを使用する」は「ログインエンドポイントを書いてください」と意味的に類似していませんが、適切な実行のためにはコンテキスト内にある必要があります。

この開発者は、これらの発見が実際の運用経験と一致するかどうか、また他の人々にとって実際に機能したアプローチについてフィードバックを求めています。

📖 完全なソースを読む: r/LocalLLaMA

Ad

👀 See Also

DeepSeek、フラッグシップAIモデルを恒久的に75%割引
News

DeepSeek、フラッグシップAIモデルを恒久的に75%割引

DeepSeekが主力AIモデルを75%恒久割引に。APIアクセス価格を一時的キャンペーンから永続化。

OpenClawRadar
OpenClaw 2026.3.11リリースでは、ローカルファーストのOllamaセットアップ、マルチモーダルメモリ、およびDiscordスレッド制御機能が追加されました。
News

OpenClaw 2026.3.11リリースでは、ローカルファーストのOllamaセットアップ、マルチモーダルメモリ、およびDiscordスレッド制御機能が追加されました。

OpenClaw 2026.3.11では、ローカルのみまたはハイブリッドモードでのOllamaのファーストクラスセットアップを導入し、Gemini埋め込みを使用したマルチモーダル画像・音声インデックス化をメモリ検索に追加し、設定可能なDiscordスレッドアーカイブ時間を提供します。

OpenClawRadar
Claude Code v2.1.73:モデルオーバーライド、安定性修正、パフォーマンス改善
News

Claude Code v2.1.73:モデルオーバーライド、安定性修正、パフォーマンス改善

Claude Code v2.1.73では、カスタムプロバイダーIDのためのmodelOverridesの追加、重大なフリーズとデッドロックの修正、サブエージェントのモデルダウングレードの解決、音声モードの安定性向上が行われました。このリリースでは、bashコマンドの権限プロンプト、セッションの破損、Linuxサンドボックスの失敗など、18の具体的な問題に対処しています。

OpenClawRadar
Agora-1: リアルタイム共有シミュレーションのためのオープンソースマルチエージェントワールドモデル
News

Agora-1: リアルタイム共有シミュレーションのためのオープンソースマルチエージェントワールドモデル

OdysseyがAgora-1をリリース。最大4体のエージェント(人間またはAI)がリアルタイムで生成されるシミュレーションを共有できる世界モデルで、テスト環境としてGoldenEyeを使用。

OpenClawRadar