Développement de Compétences d'Analyse d'Image Personnalisées dans OpenClaw avec des Modèles Locaux
Un développeur a documenté son processus de création d'une compétence d'analyse d'images personnalisée pour OpenClaw en utilisant exclusivement des outils locaux gratuits, sans coûts d'API.
Configuration et défis initiaux
Le développeur exécute OpenClaw sur Windows 11 via Ubuntu WSL avec Ollama comme backend LLM. Il a rencontré des limitations avec la gestion des images de l'interface Web - bien qu'il ait créé un dossier de téléchargements, le système pouvait uniquement lire les informations des fichiers mais pas analyser le contenu des images. Cela l'a conduit à explorer des alternatives au-delà des solutions d'API payantes (Claude, Gemini, OpenAI) ou des achats de matériel.
Développement de la solution
Après avoir installé context7mcp, il a évalué des modèles de langage locaux et a opté pour Qwen2.5 VL. Les premières tentatives avec les compétences intégrées ont rencontré des problèmes d'acceptation du nom du modèle et d'intégration avec Ollama. La percée est venue grâce à des tests systématiques : envoyer des images à Ollama via des appels API, lire les réponses, et créer des scripts bash et Python pour gérer le processus.
Détails de l'implémentation
- Environnement : Windows 11 avec Ubuntu WSL
- Backend LLM : Ollama
- Modèle sélectionné : Qwen2.5 VL
- Méthode d'intégration : Appels API à Ollama
- Scripts créés : Versions bash et Python
La compétence personnalisée s'enregistre nativement dans OpenClaw et peut être invoquée avec des commandes comme "analyse cette image" ou "regarde cette photo", renvoyant des réponses détaillées et précises. Le développeur note que des améliorations futures avec des modèles Qwen3/3.5VL plus petits pourraient encore améliorer les performances.
Malgré les défis incluant plusieurs réinstallations et des frustrations avec des outils open-source incomplets, le développeur décrit l'expérience comme la création d'un "organisme auto-réparateur et auto-améliorant" et reste impressionné par le potentiel d'OpenClaw pour le développement de compétences personnalisées.
📖 Read the full source: r/openclaw
👀 See Also
La configuration multi-agent déclenche des frais de 3 400 $ en raison d'une boucle d'hallucination.
Un développeur a codé en dur une carte virtuelle d'entreprise dans les variables d'environnement pour tester une configuration multi-agents MCP, ce qui a entraîné des frais de 3 400 $ lorsqu'un agent principal s'est retrouvé bloqué dans une boucle d'hallucination qui a lancé de nouvelles instances de proxy payantes toutes les 45 secondes pendant 14 heures.
L'agent IA OpenClaw aide l'équipe à sauver la journée de démonstration avec un prototype rapide.
Une équipe de développement a utilisé l'agent IA d'OpenClaw pour créer un site de démonstration fonctionnel avec des données fictives en 10 minutes, après que leur pivot produit a menacé leur participation à la journée de démonstration de South Park Commons.
Un mois avec OpenClaw : Succès de la personnalisation et défis de stabilité
Un chercheur en IA a remplacé ChatGPT Plus par OpenClaw pendant un mois, obtenant une fonctionnalité de chatbot personnalisé grâce aux fichiers USER.md et PERSONAL_MODEL.md, des agents de pointage quotidien et des rapports de dépenses, mais a rencontré des pannes persistantes nécessitant l'intervention de Claude Code.
Flux de travail utilisateur : Utiliser Claude.ai pour la planification et Claude Code pour la mise en œuvre
Un développeur décrit l'utilisation de Claude.ai pour la planification détaillée et les discussions d'architecture, puis de Claude Code pour l'implémentation, mais note qu'il n'y a pas d'état partagé entre les deux outils, ce qui nécessite des transferts manuels de fichiers.