AIエージェントにおけるコンテクスト品質の低下：トークン数に伴う幻覚率の増加

コンテキストウィンドウの性能テスト結果

開発者がAIエージェントにおける異なるトークン数でのコンテキスト品質の劣化をテストした結果、コンテキストサイズの増加に伴う重大な性能問題が明らかになりました。

テストからの主な発見

このテストでは、いくつかの重要な指標が測定されました：

• コンテキストサイズ別の幻覚発生率：
  • 10Kトークン：約3％
  • 50Kトークン：約11％
  • 200Kトークン：約28％
  • 1Mトークン：不明ですが、傾向としては劣化が進んでいます
• 想起精度： コンテキストが50Kトークンを超えると、GPT-4、Claude、ローカルモデルを含むどのテスト済みモデルも、最初の10ターンの情報について90％の想起精度を達成できませんでした。
• トークン効率： 200Kトークンでは、ほとんどのエージェントタスクにおいて、現在のクエリに実際に関連するコンテキストの割合が12％を下回り、約188Kトークンがモデルが推論しなければならないノイズを追加していることを意味します。

問題分析

この問題は、忘却ではなく注意の枯渇であるように見えます。初期のコンテキストは最近のコンテキストと競合し、通常は位置的な関連性が高いため最近のコンテキストが優勢になります。これにより、セッションの初期に設定された制約（「PostgreSQLを使用し、ORMは使用しない」など）は、より多くのコンテキストが蓄積されるにつれて徐々に薄まっていきます。

200Kトークンで89ターン目まで進むと、モデルの注意はコンテキスト全体に広がりすぎて、初期の制約は事実上消えてしまいます。

現在の解決策と限界

多くの開発者は、「関連する」メモリを取得するためにベクトルデータベースを追加しており、これはある程度役立ちます。しかし、このアプローチは、エージェントが正しい推論に必要なものではなく、意味的に類似したコンテンツを取得します。例えば、「PostgreSQLを使用する」は「ログインエンドポイントを書いてください」と意味的に類似していませんが、適切な実行のためにはコンテキスト内にある必要があります。

この開発者は、これらの発見が実際の運用経験と一致するかどうか、また他の人々にとって実際に機能したアプローチについてフィードバックを求めています。