OllamaのローカルLLM開発における再利用可能なGoコンポーネントの分析
Ollamaコードベース内の独立コンポーネント
開発者が最近Ollamaのソースコードを分析し、他のGoプロジェクトで独立して利用可能な部分を特定しました。調査の結果、他に同等の独立Goライブラリが存在しないいくつかのコンポーネントが明らかになりました。
トークンサンプリング実装
Ollamaのsample/パッケージには、温度、top-k、top-p、min-p、および貪欲サンプリングの純粋なGo実装が含まれています。開発者は独立したGoの代替案を見つけられませんでした。既存の解決策は、CGo経由でllama.cppをラップするか、パラメータをリモートAPIに送信するものです。パイプラインの順序（最初にtopK、次に温度、ソフトマックス、topP、minP）は重要であり、変更すると異なる出力が生成されます。
GGUFファイル処理
リモート解析やVRAM推定などの機能を提供する独立したGGUFリーダー（gpustack/gguf-parser-go）はありますが、読み取り専用です。Ollamaのfs/ggmlパッケージには、Goの他の場所に同等のものがないWriteGGUF()関数が含まれています。低レベルリーダー（fs/gguf）は特にクリーンで、Ollamaコードベースの残りからのインポートがゼロです。5つのファイルをコピーするだけで独立してコンパイルできます。ただし、GGUF解析コードにはセキュリティ上の懸念があります。不正なGGUFファイルから13件以上のDoS関連CVEが報告されており、ソースには入力検証のギャップがあり、攻撃者が制御するサイズフィールドから無制限のメモリ割り当てを引き起こす可能性があります。
モデル変換機能
convert/パッケージは、25以上のモデルアーキテクチャに対してSafeTensorsとPyTorchからGGUFへの変換を処理します。唯一の同等物はPythonのconvert_hf_to_gguf.pyです。内部パッケージへの依存のため、このコンポーネントの抽出はより複雑ですが、リーダーとトークナイザーの部分は驚くほど独立しています。
チャットテンプレートシステム
Ollamaには20以上の組み込みチャットテンプレートが含まれており、レーベンシュタイン距離を用いたファジーマッチングアプローチで、GGUFファイルからのJinja2テンプレート文字列をGoの同等物にマッチングします。既存のGoライブラリはモデル固有のチャットテンプレートレンダリングを提供していませんが、新しいモデル形式ごとに手動で移植されたテンプレートが必要です。
OpenAI互換性レイヤー
約600行の純粋な変換関数が、HTTPロジックなしでOpenAI形式をOllama形式に変換します。このクリーンな実装にもかかわらず、LocalAIやone-apiなどのプロジェクトは、このコンポーネントを抽出するのではなく、独自のバージョンを一から構築しました。
セキュリティ考慮事項
分析では懸念すべきセキュリティ面が指摘されています。2024年以降22件以上のCVE、SentinelOneによって発見された17万5千以上の公開インスタンス、組み込みAPI認証の欠如です。GGUF解析の脆弱性はそのコードの抽出に影響しますが、サンプラーとOpenAI変換はクリーンです。
Goエコシステムのギャップ
開発者は、Goエコシステムにはトップレベル（APIクライアント、HTTPサーバー）とボトムレベル（GGMLおよびCUDAへのCGoバインディング）に優れたツールがある一方で、サンプリング、テンプレート、形式変換、GGUF書き込みのためのミドルレイヤーが欠けており、現在はOllama内にのみ存在していると指摘しました。
📖 Read the full source: r/LocalLLaMA
👀 See Also
針：完全不需要前馈网络构建的2600万参数工具调用模型
Needleは、MLPを持たない2600万パラメータの関数呼び出しモデルで、コンシューマデバイス上で6000トークン/秒のプリフィルと1200トークン/秒のデコードを実現します。単発のツール呼び出しにおいて、FunctionGemma-270M、Qwen-0.6B、Granite-350M、LFM2.5-350Mを上回ります。
civStation: 自然言語コマンドで『Civilization VI』をプレイするVLMシステム
civStationは、高水準の自然言語コマンドをゲーム内のアクションに変換することで『Civilization VI』をプレイするコンピューター利用のVLMハーネスです。このシステムは、戦略と実行を分離した3層アーキテクチャを採用し、人間による介入（ヒューマン・イン・ザ・ループ）をサポートしています。
ローカルRAGツールをNemotron Nano 9B v2とvLLMツールコールで構築
開発者が、単一のGPU上で完全に動作するローカルファーストのRAG研究ツールを構築しました。このシステムは、vLLM上でNemotron Nano 9B v2 Japaneseを使用し、ツール呼び出しのためのカスタムパーサープラグインを備えています。特徴として、二言語キーワード抽出と並列FTS5/DuckDuckGo検索を組み合わせた、抽出→実行の2段階フローを採用しています。
クロードはインタラクティブなチャートとダイアグラム作成機能を追加しました
Claudeは現在、会話内で直接チャート、図表、探索可能な詳細情報を含むインタラクティブなビジュアルを生成できるようになりました。この機能は無料プランを含むすべてのプランでベータ版として利用可能です。