Pali v0.1: 再現可能なベンチマークを備えたLLM向けオープンソースメモリ基盤

Paliとは

Paliは、インフラストラクチャファーストのオープンソースLLMメモリ基盤です。Goで構築されたシングルバイナリとして提供され、qdrant、neo4j、ollama、openrouterなどのプラグアンドプレイアタッチメントの設定が可能です。プロジェクトはMITライセンスで、完全にセルフホスティングできます。

主な機能

• テナントスコープの分離を備えたマルチテナントメモリAPI
• 語彙検索、密ベクトル検索、融合検索、再ランキング、オプションのマルチホップ拡張を横断するハイブリッド検索
• メモリファーストツールとテナント対応解決を備えたMCPサーバー
• 対応するPythonおよびJavaScriptパッケージがライブで利用可能なREST API
• テナント、メモリ、システム状態を監視するためのオペレータ向けダッシュボード
• ベクトルストア、埋め込みモデル、エンティティファクトバックエンド、スコアリング/ルーティングのためのプラグアンドプレイ拡張ポイント

ベンチマーク手法

作成者は、メモリスタックのベンチマークに関する一般的な問題に対処するため、再現可能な手法を実装しています：

• 各実行で使用された正確な設定ファイル（プロファイル＋レンダリング済み）を保存
• ハードウェアを完全に開示（CPU、GPU、RAM、モデルバージョン）
• ペア比較のみ — すべてのプロファイルで同じフィクスチャ/評価/top_kを使用
• 速度レーンと検索品質レーンは分離して保持

パフォーマンス数値

Ryzen 9 7950X + RTX 5070でのテスト結果：

• sqlite + 語彙検索：208 store ops/s、Top1=0.32、Recall@5=0.54
• qdrant + ollama（all-minilm）：98 store ops/s、Top1=0.34、Recall@5=0.52
• パーサー+グラフ（構造化メモリストレスレーン）：2.4 store ops/s — 構造化抽出コストにより低速だが、LoCoMoでは平均約30、一時的なピークは約40程度

重要な明確化

PaliはSaaS的な意味でのLLMメモリではありません。独自のワークフローに最適化するための生の検索結果を返します — ブラックボックススコアリングやロックされたプロバイダ決定はありません。アプリケーションの契約を変更することなく、設定を通じてベクトルバックエンド、埋め込みモデル、スコアラーを交換できます。

プロジェクト状況

バージョン0.1が最近公開され、適切なベンチマークスイートが追加されました。作成者は貢献者を募集しています。