ローカルLLMセットアップの推奨事項（OpenClaw向け）

セットアップ概要

r/openclawのユーザーが、ローカル大規模言語モデル（LLM）をOpenClawと統合するための現在の設定を共有しました。彼らは別々のハードウェアを使用しています：AIモデルを実行するためのGB10デバイスと、メインのOpenClawインストール用のMac miniです。

設定詳細

セットアッププロセスは、ほぼ標準的であると説明されていますが、1つの重要な違いがあります：LLMを選択するよう求められたら、必ず「カスタムLLM」オプションを選択する必要があります。この段階で「自分のIPアドレスを入力する」ように指示しています。ほとんどのセットアップでは、vLLM、SGLang、またはllama.cppなどのツールを介したOpenAI互換エンドポイントを使用することになると指摘しています。

モデル選択については、ユーザーは具体的な警告と推奨事項を提供しています：

• モデル選択のアドバイス：「VRAMに収まる最大のモデルを選ばないでください。コンテキストトークンとモデルサイズのバランスを見つける必要があります。」
• 現在のモデル： unsloth/MiniMax-M2.5-GGUF:UD_Q2_K_XL + 24000を使用しています。
• 推論サーバー： モデルを実行するためにllama.cppを使用しています。

サーバーエンドポイント

ローカル推論サーバーはlocalhost:8080/v1で実行されるように設定されています。これにより、OpenClawが接続できるOpenAI互換のAPIエンドポイントが提供されます。

ユーザーは、これは進行中の作業であると述べています：「まだOpenClawをテスト中なので、トークンが足りない場合は別のモデルに変更するかもしれません。」これは、特定のワークフローのコンテキストウィンドウ要件に合った適切なモデルを見つけるための実践的で反復的な性質を強調しています。