ローカルLLMエージェントとComfyUI統合：自然言語でバッチ画像生成

r/LocalLLaMAの開発者が、ローカルのOpenClawエージェントとComfyUIを統合し、自然言語によるバッチ画像生成を可能にした方法を共有しました。このセットアップにより、ユーザーは平易な英語で画像リクエストを記述でき、エージェントが手動のUI操作なしにComfyUIパイプライン全体を処理します。

統合の仕組み

フローは以下の順序で進行します：

エージェントが画像リクエストを受信
意図を構造化された入力（プロンプト、寸法、ステップ数、シード値）に解析
ツールとしてcomfyuiスキルを呼び出し
スキルが入力からComfyUIワークフローJSONを構築
ローカルのComfyUI HTTP API（/prompt）にPOST送信
2秒ごとに/historyをポーリングしてレンダリング完了を確認
/viewから出力パスを取得
結果をエージェントに返却
エージェントがユーザーに確認

技術的な実装詳細

この統合では、ComfyUIのノードIDベースのJSONワークフロー形式を使用しています。スキルは、エージェントの入力をベースワークフローテンプレート（KSampler、CLIPTextEncodeなど）内の特定のノードIDにマッピングします。これは「ワークフローのノード構造に依存するため、統合の中で最も脆弱な部分ですが、標準的なセットアップでは確実に動作します」と説明されています。

スキルには、ジョブを受け付ける前に/object_infoにpingを送信してComfyUIが実際に準備完了状態（単に到達可能なだけでなく）であることを確認する起動検証が含まれています。これにより、チェックポイントがまだ読み込み中のときにジョブが実行されずにキューイングされるのを防ぎます。

エラー処理の改善

すべてのAPI呼び出しは、生のHTTPエラーではなく、エージェントが読み取り可能なエラーを返すようにラップされています。例えば、「127.0.0.1:8188で接続が拒否されました」は「ComfyUIが実行されていないようです。--listenを付けて起動し、再度お試しください」に変換されます。これにより、特にリモート作業時にデバッグが容易になります。