Les plugins LM Studio ajoutent l'analyse d'images web pour les LLM dotés de capacités visuelles.

Un développeur a créé des plugins pour LM Studio qui permettent aux LLM dotés de capacités visuelles de récupérer des images depuis le web et de les analyser directement dans l'application. Les plugins fonctionnent sans nécessiter de MCP/API ou d'inscription, en utilisant des scripts simples qui peuvent être installés en un clic depuis le site web de LM Studio.

Fonctionnalités principales

Le plugin principal, "analyze-images", permet aux LLM de :

• Récupérer des images depuis le web pour analyse
• Enchaîner automatiquement les outils en fonction de la tâche
• Convertir les images récupérées en fichiers miniatures plus petits pour l'intégration dans le chat afin d'éviter l'encombrement
• Utiliser des images en pleine résolution pour l'analyse lorsque c'est possible
• Intégrer des images dans les réponses ou utiliser des galeries sous forme de tableaux markdown lorsque les utilisateurs demandent plusieurs images

Le développeur a également mis à jour les plugins existants :

• Le plugin Duck-Duck-Go fonctionne désormais avec les images
• Le plugin Visiter le site web fonctionne désormais avec les images

Prérequis et configuration

Pour utiliser ces plugins, vous avez besoin de :

• Un modèle doté de capacités visuelles (Qwen 3.5 9b ou 27b sont recommandés)
• LM Studio avec prise en charge des plugins

Le développeur a partagé des paramètres spécifiques pour Qwen 3.5 qui ont bien fonctionné :

Température : 1
Échantillonnage Top K : 20
Pénalité de répétition : 1
Pénalité de présence : 1.9
Échantillonnage Top P : 0.95
Échantillonnage Min P : 0

Il a noté que le paramètre Pénalité de présence à 1.9 a aidé à résoudre les problèmes de répétition et à éviter les boucles.

L'invite système utilisée était : "Vous êtes un assistant compétent, réfléchi et précis. Priorisez toujours la véracité, la nuance, la perspicacité et l'efficacité, en adaptant vos réponses spécifiquement aux besoins et préférences de l'utilisateur. Recherchez avant de répondre aux questions : utilisez à la fois le raisonnement et les appels d'outils pour synthétiser une conclusion appropriée."

Liens des plugins

• Plugin Analyser les images : https://lmstudio.ai/vadimfedenko/analyze-images
• Duck-Duck-Go retravaillé : https://lmstudio.ai/vadimfedenko/duck-duck-go-reworked
• Visiter le site web retravaillé : https://lmstudio.ai/vadimfedenko/visit-website-reworked

Le développeur a également partagé un modèle d'invite Jinja sur Pastebin qui a aidé à corriger les erreurs d'appel d'outils.