メルリン：ローカルファーストのLLMコンテキスト重複除去 – 最大71%のチャンク重複を測定、フリー＆オープンコア

著者は、LLMコンテキストウィンドウ向けのローカルファースト重複除去ツールMerlinを公開しました。実際のエージェントセッションとRAGパイプラインからの2200万パッセージのベンチマークでは、典型的なエージェントコンテキストで22%の重複コンテンツ、RAGヘビークエリでは最大71%の重複が示されました。8K/16K/32Kコンテキストのローカルモデルの場合、冗長性を取り除くことで、切り捨て前に収まる有用なトークンが増えます。

3つの統合モード

1. HTTPプロキシモード

Ollama、vLLM、SGLang、OpenWebUI、llama.cppサーバー、またはOpenAI互換エンドポイントを持つ任意のものに最適です。プロキシをローカルで実行し、クライアントをモデルサーバーに直接ではなくhttp://localhost:8787/v1に向けます。モデルに到達する前に、送信リクエストでチャンクレベルの重複除去が行われます。

デフォルトはキャッシュ認識型です：会話のプレフィックスはそのまま（vLLM/SGLangのプレフィックスキャッシュは機能し続ける）、最新のユーザーメッセージのみ重複除去します。キャッシュヒット率がすでに低い場合は、オプトインのアグレッシブモードがあります。

2. MCPサーバー

Claude Desktop、Claude Code、OpenClaw、Cursor向け。ツールを公開：

• merlin_dedupe – テキストの重複除去
• merlin_dedupe_file – ファイル内容の重複除去
• merlin_savings_summary – 統計表示
• merlin_status – サービスの確認

これらのツールは自動呼び出しされません。チャンクの貼り付け時にモデルにそれらを呼び出すよう指示する必要があります。

3. スタンドアロンCLI

シェルパイプラインや前処理用。シングルスレッド、約250KBのバイナリ、ランタイム依存なし、ネットワーク呼び出しなし。位置引数の入力ファイルを受け取り、--output-dedup=path.txtで重複除去された行を出力します。

インストール（セットアップごとに1コマンド）

curl -LO https://github.com/corbenicai/merlin-community/releases/latest/download/merlin-community.zip
unzip merlin-community.zip && cd merlin-community
python shared/install_helpers.py <integration> enable

<integration>にはclaude_desktop、claude_code、openclaw、cursor、またはproxyを指定します。

測定結果とトレードオフ

• 論文： arXiv:2605.09611（アーキテクチャ）、arXiv:2605.09990（2200万パッセージ測定）、Zenodo: 10.5281/zenodo.20090991
• コミュニティ層の上限： 1回50MB、1日200MB、1か月2GB。過大な作業はきちんと拒否されます（51MBファイルで確認済み）。趣味の使用には問題ありません。
• オープンコア： 公開リポジトリはコミュニティエディションです。高スループットサーバー向けの別のクローズドソースProエンジンが存在します。
• 修正しないもの： 会話全体が毎ターン再生されるセッション断片化——これはこのツールの範囲を超えたオーケストレーション問題です。
• バイナリの入手可能性： v0.2.1でWindows x64対応。Linux + macOSのCIパイプラインは保留中。

対象ユーザー

Ollama、vLLM、SGLang、llama.cpp、または任意のOpenAI互換バックエンドでエージェントやRAGを実行しているローカルLLMユーザーで、限られたコンテキストウィンドウにより多くの実トークンを詰め込みたい方。