MemAwareベンチマークは、RAGベースのエージェントメモリが暗黙的な文脈検索で失敗することを示しています。

MemAwareベンチマークは、ユーザーが明示的に要求しない場合にAIエージェントが関連する過去のコンテキストを取得できるかどうかを評価することで、既存のエージェントメモリテストのギャップに対処します。現在のほとんどのエージェントメモリシステムは、単純なパターンに従っています：ユーザーが何かを尋ねる → エージェントがメモリを検索 → 結果を取得 → 回答する。これは「データベースの決定は何でしたか？」のような明示的なクエリではうまく機能しますが、コンテキストが暗黙的である場合には失敗します。

MemAwareがテストする内容

このベンチマークには、暗黙的なコンテキスト想起をテストする3つの難易度レベルにわたる900の質問が含まれています：

• 簡単：キーワードが重複する質問（例：「8時30分の会議のためにアラームを何時に設定すべきですか？」は45分の通勤時間を想起すべき）
• 中程度：同じドメイン内の質問
• 難しい：キーワードのつながりがないクロスドメインの質問（例：「フォードマスタングのエアフィルターが必要です、ロイヤルティ割引はどこで使えますか？」はユーザーがターゲットで買い物をすることを想起すべき）

ベンチマーク結果

ローカルBM25 + ベクトル検索でのテストでは、重大な制限が明らかになりました：

• 簡単レベル：6.0%の精度
• 中程度レベル：3.7%の精度
• 難しいレベル：0.7%の精度 — メモリが全くない場合（0.8%）とほぼ同じ

難しいレベルは、検索クエリがドメイン間で概念を接続しない未解決の問題を表しています。ベンチマークの作成者は、効果的な解決策には「クエリごとの検索ではなく、ユーザーの完全な履歴の事前読み込み概要が必要かもしれない」と示唆しています。

実用的な意味合い

これは、現在のRAGベースのエージェントメモリシステムの根本的な限界を強調しています。ユーザーが適切なキーワードを使用しない場合や、接続が異なるドメインにまたがる場合、標準的な検索アプローチは関連するコンテキストを取得できません。データセットとテストハーネスはMITライセンスの下でオープンソースであり、開発者が独自のメモリシステムをテストできます。