Integration lokaler LLM-Agenten mit ComfyUI für die Stapelbildgenerierung mit natürlicher Sprache

✍️ OpenClawRadar📅 Veröffentlicht: 2. April 2026🔗 Source
Integration lokaler LLM-Agenten mit ComfyUI für die Stapelbildgenerierung mit natürlicher Sprache
Ad

Ein Entwickler auf r/LocalLLaMA hat seine Integration zwischen einem lokalen OpenClaw-Agenten und ComfyUI geteilt, die natürliche Sprach-Batch-Bildgenerierung ermöglicht. Das Setup erlaubt es Benutzern, Bildanfragen in einfachem Englisch zu beschreiben, wobei der Agent den gesamten ComfyUI-Pipeline ohne manuelle UI-Interaktion handhabt.

Wie die Integration funktioniert

Der Ablauf folgt dieser Sequenz:

  • Agent empfängt Bildanfrage
  • Parst Absicht in strukturierte Eingaben (Prompt, Abmessungen, Schritte, Seed)
  • Ruft comfyui-Fähigkeit als Werkzeug auf
  • Fähigkeit erstellt einen ComfyUI-Workflow-JSON aus den Eingaben
  • Sendet POST an lokale ComfyUI-HTTP-API (/prompt)
  • Pollt /history alle 2 Sekunden bis Render abgeschlossen ist
  • Ruft Ausgabepfad von /view ab
  • Gibt Ergebnis an Agent zurück
  • Agent bestätigt mit Benutzer

Technische Implementierungsdetails

Die Integration nutzt ComfyUIs knoten-ID-basiertes JSON-Workflow-Format. Die Fähigkeit ordnet Agenteneingaben bestimmten Knoten-IDs in einer Basis-Workflow-Vorlage zu (KSampler, CLIPTextEncode, etc.). Dies wird als "der fragilste Teil der Integration beschrieben, da es von der Knotenstruktur Ihres Workflows abhängt, aber für Standard-Setups funktioniert es zuverlässig."

Die Fähigkeit enthält eine Startverifizierung durch Ping von /object_info, um sicherzustellen, dass ComfyUI tatsächlich bereit ist (nicht nur erreichbar), bevor Jobs angenommen werden. Dies verhindert, dass Jobs sich ohne Ausführung anstellen, während Checkpoints noch laden.

Ad

Verbesserungen der Fehlerbehandlung

Jeder API-Aufruf ist verpackt, um agentenlesbare Fehler statt roher HTTP-Fehler zurückzugeben. Zum Beispiel wird "Connection refused at 127.0.0.1:8188" zu "ComfyUI scheint nicht zu laufen. Starten Sie es mit --listen und versuchen Sie es erneut." Dies erleichtert das Debuggen, besonders bei Remote-Arbeit.

Aktuelle Einschränkungen

Die Integration unterstützt noch nicht:

  • Fortgeschrittene Multi-Knoten-Workflows (ControlNet, LoRA-Stacking)
  • Echtzeit-Fortschritts-Streaming via WebSocket
  • Plattformübergreifendes Testen über Windows hinaus

Der gesamte Stack läuft lokal mit OpenClaw (selbstgehostetes Agenten-Framework) + ComfyUI + einem Node.js-Fähigkeits-Skript, ohne Cloud-Komponenten.

📖 Read the full source: r/LocalLLaMA

Ad

👀 Siehe auch

Anchormd: Ein Werkzeug zur Verwaltung von Kontext über Claude AI-Sitzungen hinweg
Werkzeuge

Anchormd: Ein Werkzeug zur Verwaltung von Kontext über Claude AI-Sitzungen hinweg

Anchormd ist ein Open-Source-Tool, das den Kontextverlust in Claude-AI-Sitzungen behebt, indem es kuratierte Markdown-Pläne in einen durchsuchbaren Wissensgraphen indexiert. Es ermöglicht Agenten, Projektübersichten zu Sitzungsbeginn zu laden und bei Bedarf nach spezifischen Details zu suchen.

OpenClawRadar
NerfGuard: Ein Klassifikator, der Codierungsanfragen an günstigere Modelle weiterleitet und die Kosten um das Dreifache senkt
Werkzeuge

NerfGuard: Ein Klassifikator, der Codierungsanfragen an günstigere Modelle weiterleitet und die Kosten um das Dreifache senkt

NerfGuard verwendet einen schnellen Klassifizierer, um Anfragen von Codierungsagenten an das günstigste Modell und die erforderliche Reasoning-Tiefe weiterzuleiten, was eine dreifache Nutzung bei gleichen Kosten ermöglicht. Inklusive Token-Optimierungen.

OpenClawRadar
SWE-CI: Neuer Benchmark testet KI-Agenten auf langfristige Code-Wartung via CI
Werkzeuge

SWE-CI: Neuer Benchmark testet KI-Agenten auf langfristige Code-Wartung via CI

SWE-CI ist ein Repository-Level-Benchmark, der KI-gestützte Agenten bei der Wartung von Codebasen über Continuous-Integration-Zyklen hinweg bewertet. Dabei verlagert er den Fokus von statischer Fehlerbehebung auf langfristige Wartbarkeit über 100 realitätsnahe Aufgaben hinweg.

OpenClawRadar
Destillerie: Ein Claude-Code-Plugin für beständigen Team-Kontext
Werkzeuge

Destillerie: Ein Claude-Code-Plugin für beständigen Team-Kontext

Distillery ist ein Plugin für Claude Code, das Teams gemeinsamen, persistenten Kontext über Sitzungen und Personen hinweg bietet. Version 0.2.0 fügt Hybridsuche, Authentifizierungs-Überwachungsprotokollierung und UV-Unterstützung hinzu.

OpenClawRadar