로컬 LLM 에이전트를 ComfyUI와 통합하여 자연어 기반 배치 이미지 생성하기

r/LocalLLaMA의 한 개발자가 로컬 OpenClaw 에이전트와 ComfyUI 간의 통합을 공유했으며, 이를 통해 자연어로 배치 이미지 생성을 가능하게 했습니다. 이 설정은 사용자가 일반 영어로 이미지 요청을 설명할 수 있게 하며, 에이전트가 수동 UI 상호작용 없이 전체 ComfyUI 파이프라인을 처리합니다.

통합 작동 방식

흐름은 다음과 같은 순서를 따릅니다:

• 에이전트가 이미지 요청을 수신
• 의도를 구조화된 입력(프롬프트, 크기, 단계, 시드)으로 파싱
• 도구로서 comfyui 스킬 호출
• 스킬이 입력에서 ComfyUI 워크플로우 JSON 생성
• 로컬 ComfyUI HTTP API(/prompt)에 POST 요청
• 렌더링이 완료될 때까지 2초마다 /history 폴링
• /view에서 출력 경로 검색
• 결과를 에이전트에 반환
• 에이전트가 사용자에게 확인

기술 구현 세부사항

이 통합은 ComfyUI의 노드-ID 기반 JSON 워크플로우 형식을 사용합니다. 스킬은 에이전트 입력을 기본 워크플로우 템플릿(KSampler, CLIPTextEncode 등)의 특정 노드 ID에 매핑합니다. 이는 "워크플로우의 노드 구조에 의존하기 때문에 통합의 가장 취약한 부분이지만, 표준 설정에서는 안정적으로 작동한다"고 설명됩니다.

스킬은 작업을 수락하기 전에 /object_info를 핑하여 ComfyUI가 실제로 준비되었는지(단순히 접근 가능한지가 아닌) 확인하는 시작 검증을 포함합니다. 이는 체크포인트가 아직 로딩 중일 때 작업이 실행되지 않고 대기열에 쌓이는 것을 방지합니다.

오류 처리 개선

모든 API 호출은 원시 HTTP 실패 대신 에이전트가 읽을 수 있는 오류를 반환하도록 래핑됩니다. 예를 들어, "127.0.0.1:8188에서 연결이 거부되었습니다"는 "ComfyUI가 실행 중인 것 같지 않습니다. --listen으로 시작하고 다시 시도하세요."가 됩니다. 이는 특히 원격으로 작업할 때 디버깅을 더 쉽게 만듭니다.

현재 제한사항

이 통합은 아직 다음을 지원하지 않습니다:

• 고급 다중 노드 워크플로우(ControlNet, LoRA 스태킹)
• WebSocket을 통한 실시간 진행률 스트리밍
• Windows 이외의 플랫폼 간 테스트

전체 스택은 OpenClaw(자체 호스팅 에이전트 프레임워크) + ComfyUI + Node.js 스킬 스크립트를 사용하여 로컬에서 실행되며, 클라우드 구성 요소는 없습니다.