Développement de Compétences d'Analyse d'Image Personnalisées dans OpenClaw avec des Modèles Locaux

Un développeur a documenté son processus de création d'une compétence d'analyse d'images personnalisée pour OpenClaw en utilisant exclusivement des outils locaux gratuits, sans coûts d'API.

Configuration et défis initiaux

Le développeur exécute OpenClaw sur Windows 11 via Ubuntu WSL avec Ollama comme backend LLM. Il a rencontré des limitations avec la gestion des images de l'interface Web - bien qu'il ait créé un dossier de téléchargements, le système pouvait uniquement lire les informations des fichiers mais pas analyser le contenu des images. Cela l'a conduit à explorer des alternatives au-delà des solutions d'API payantes (Claude, Gemini, OpenAI) ou des achats de matériel.

Développement de la solution

Après avoir installé context7mcp, il a évalué des modèles de langage locaux et a opté pour Qwen2.5 VL. Les premières tentatives avec les compétences intégrées ont rencontré des problèmes d'acceptation du nom du modèle et d'intégration avec Ollama. La percée est venue grâce à des tests systématiques : envoyer des images à Ollama via des appels API, lire les réponses, et créer des scripts bash et Python pour gérer le processus.

Détails de l'implémentation

• Environnement : Windows 11 avec Ubuntu WSL
• Backend LLM : Ollama
• Modèle sélectionné : Qwen2.5 VL
• Méthode d'intégration : Appels API à Ollama
• Scripts créés : Versions bash et Python

La compétence personnalisée s'enregistre nativement dans OpenClaw et peut être invoquée avec des commandes comme "analyse cette image" ou "regarde cette photo", renvoyant des réponses détaillées et précises. Le développeur note que des améliorations futures avec des modèles Qwen3/3.5VL plus petits pourraient encore améliorer les performances.

Malgré les défis incluant plusieurs réinstallations et des frustrations avec des outils open-source incomplets, le développeur décrit l'expérience comme la création d'un "organisme auto-réparateur et auto-améliorant" et reste impressionné par le potentiel d'OpenClaw pour le développement de compétences personnalisées.