Intégration d'Agents LLM Locaux avec ComfyUI pour la Génération d'Images par Lots en Langage Naturel
Un développeur sur r/LocalLLaMA a partagé son intégration entre un agent OpenClaw local et ComfyUI qui permet la génération d'images par lots en langage naturel. La configuration permet aux utilisateurs de décrire leurs demandes d'images en anglais simple, l'agent gérant l'intégralité du pipeline ComfyUI sans interaction manuelle avec l'interface.
Fonctionnement de l'intégration
Le flux suit cette séquence :
- L'agent reçoit une demande d'image
- Analyse l'intention en entrées structurées (prompt, dimensions, étapes, seed)
- Appelle la compétence comfyui comme outil
- La compétence construit un JSON de flux de travail ComfyUI à partir des entrées
- Envoie une requête POST à l'API HTTP locale de ComfyUI (/prompt)
- Interroge /history toutes les 2 secondes jusqu'à la fin du rendu
- Récupère le chemin de sortie depuis /view
- Renvoie le résultat à l'agent
- L'agent confirme avec l'utilisateur
Détails techniques de l'implémentation
L'intégration utilise le format JSON de flux de travail basé sur les ID de nœuds de ComfyUI. La compétence mappe les entrées de l'agent sur des ID de nœuds spécifiques dans un modèle de flux de travail de base (KSampler, CLIPTextEncode, etc.). Ceci est décrit comme "la partie la plus fragile de l'intégration car elle dépend de la structure des nœuds de votre flux de travail, mais pour les configurations standards, cela fonctionne de manière fiable."
La compétence inclut une vérification au démarrage en envoyant un ping à /object_info pour s'assurer que ComfyUI est réellement prêt (pas seulement accessible) avant d'accepter des tâches. Cela empêche les tâches de s'accumuler sans s'exécuter lorsque les checkpoints sont encore en cours de chargement.
Améliorations de la gestion des erreurs
Chaque appel API est encapsulé pour renvoyer des erreurs compréhensibles par l'agent plutôt que des échecs HTTP bruts. Par exemple, "Connection refused at 127.0.0.1:8188" devient "ComfyUI ne semble pas être en cours d'exécution. Démarrez-le avec --listen et réessayez." Cela facilite le débogage, notamment lors d'un travail à distance.
Limitations actuelles
L'intégration ne prend pas encore en charge :
- Les flux de travail multi-nœuds avancés (ControlNet, empilement LoRA)
- Le streaming de progression en temps réel via WebSocket
- Les tests multiplateformes au-delà de Windows
L'ensemble de la pile fonctionne localement en utilisant OpenClaw (framework d'agent auto-hébergé) + ComfyUI + un script de compétence Node.js, sans composants cloud.
📖 Read the full source: r/LocalLLaMA
👀 See Also
Engramx v3.4 : Serveur MCP + Graphe de connaissances SQLite réduit de 89 % l'utilisation des tokens de Claude Code
Engramx v3.4 intercepte les lectures de fichiers pour les agents Claude Code, renvoyant des résumés structurels au lieu du contenu brut. Les benchmarks montrent une réduction agrégée de 89,1 % des tokens sur une base de code de 87 fichiers.
Code Altimate : Harnais de Génie de Données Agentiel Open-Source
Altimate Code est un harnais open-source qui fournit des outils déterministes d'ingénierie des données pour les agents d'IA, abordant des problèmes comme le SQL halluciné et le manque de contexte de schéma. Il inclut la traçabilité au niveau des colonnes, la détection d'anti-modèles SQL et l'intégration dbt, avec des benchmarks montrant 74,4 % de performance sur ADE-bench.
Développeur crée un générateur de modèles SaaS .NET avec Claude Code, partage des insights sur le workflow
Un développeur a rendu open-source NETrock, un modèle de démarrage SaaS .NET 10 avec authentification, ORM et tâches en arrière-plan, puis a construit un générateur côté client pour celui-ci en utilisant Claude Code. Le générateur permet aux utilisateurs de choisir des fonctionnalités et de télécharger un projet .zip fonctionnel qui reste dans leur navigateur.
DAUB MCP Server Permet à Claude de Générer et Rendre des Interfaces Utilisateur via des Spécifications JSON
DAUB est un serveur MCP qui permet à Claude de générer des interfaces utilisateur directement à partir d'invites en langage naturel, produisant des spécifications JSON structurées qui s'affichent comme des interfaces en direct sans génération de code ni compilation. Il expose quatre outils, notamment generate_ui, render_spec, validate_spec et get_component_catalog.