OpenClaw向け2台の改造2080 TiでのローカルvLLMホスティング：実体験

Redditユーザーがr/openclawにて、Alibabaで購入した2つの改造済み22GB 2080 Ti GPUをNVLinkで接続し、OllamaではなくvLLMをテンソル並列処理用に使用してローカルAIホスティングを行うセットアップについて説明しています。ターゲットは20-30Bパラメータのモデルで、軽いコーディング作業、ホームラボのメンテナンス、RAG、メール仕分け、ドキュメント作成に適したモデルの推奨をコミュニティに求めています。なお、重いコーディングタスクはCodex OAuthサービスに任せるとのことです。

投稿の主な詳細：

• ハードウェア：Alibabaから購入した2x 22GB（改造済み）2080 Ti。おそらく元マイニングカード。NVLinkブリッジで相互接続。
• ソフトウェア：両方のGPUでテンソル並列処理を活用するため、明示的にOllamaではなくvLLMを選択。
• 目標：OpenClaw用に20-30Bパラメータ範囲のローカルモデルを実行。タスクには軽いコーディング、ホームラボ管理、RAG、メール仕分け、ドキュメント生成を含む。
• ユーザーは購入後の後悔を表明し、妥当性の確認や実用的なモデルの提案を求めている。

コミュニティディスカッション（以下のリンク）では、同様のセットアップの実体験、モデルの推奨（例：CodeLlama、DeepSeek Coder、または汎用モデルのMixtral 8x7Bなど）、vLLMのメモリ最適化やプロンプトエンジニアリングのヒントが提供されています。一部のコメント投稿者は、改造されたGPUの信頼性について注意を促し、まずは小さいモデルでテストするよう提案しています。