初めてのLLMをセルフホスティングする実践ガイド

r/LocalLLaMAからのReddit投稿は、モデルの評価と選択ガイダンスを含め、独自のインフラストラクチャにLLMをデプロイするための実践的なプレイブックを提供しています。

なぜLLMをセルフホストするのか？

この情報源では、セルフホスティングの主な動機として4つを特定しています：

• プライバシー： ファイアウォール外に出せない機密データ（患者の健康記録、独自のソースコード、ユーザーデータ、財務記録、RFP、内部戦略文書など）の場合。セルフホスティングにより、サードパーティAPIへの依存がなくなり、侵害リスクが低減します。
• コスト予測可能性： APIの価格は使用量に比例して増加しますが、高いトークン使用量を伴うエージェントワークロードの場合、独自のGPUインフラストラクチャを運用することで規模の経済が生まれます。これは、中規模から大規模な企業（20〜30以上のエージェント）や、顧客に大規模にエージェントを提供する場合に特に重要です。
• パフォーマンス： 往復API呼び出しを排除し、適切なトークン/秒の値を達成し、スポットインスタンスの弾力的スケーリングで容量を増加させます。
• カスタマイズ： LoRAやQLoRAなどの手法でLLMの動作をファインチューニングできます。ツールの使用を変更、強化、または調整したり、応答スタイルを調整したり、ドメイン固有のデータでファインチューニングしたりします。これは、汎用的な指示合わせではなく、特定の動作を必要とするカスタムエージェントやAIサービスを構築するために重要です。

この投稿は、特定のシナリオに直面している開発者を対象としています：OpenAIやAnthropicの請求が急増している、機密データをVPC外に送信できない、エージェントワークフローが1日数百万トークンを消費している、プロンプトで達成できる範囲を超えたカスタム動作が必要である、などです。