GLM-5-Turbo présente un faible taux d'erreur d'appel d'outils lors des tests utilisateurs.

Le modèle z-ai/glm-5-turbo montre des performances prometteuses pour les applications d'appel d'outils selon des tests utilisateurs partagés sur r/LocalLLaMA.

Résultats de référence

Les tests indiquent que le modèle atteint un taux d'erreur d'appel d'outils très faible de 0,57 % en moyenne. Cela représente une amélioration significative par rapport au modèle standard GLM-5, qui présente un taux d'erreur d'environ 3 % – ce qui rend GLM-5-turbo environ 6 fois plus précis pour les tâches d'appel d'outils.

Comparé aux modèles d'autres fournisseurs :

• Les modèles Anthropic varient de 0,38 % à 0,93 % avec une moyenne de 0,67 %
• Les modèles Amazon Bedrock varient de 1,48 % à 1,76 % avec une moyenne de 1,63 %
• Les modèles Google Vertex varient de 0,99 % à 2,62 % avec une moyenne de 1,93 %

Application pratique

Un utilisateur a testé GLM-5-turbo avec un nouvel outil CLI pour écrire des romans fantastiques et a rapporté des améliorations substantielles par rapport aux modèles précédents. Avec le GLM-5 standard, l'outil était "un peu capricieux quand il s'agissait de quelque chose de non anglais, et ne savait parfois pas quelle commande utiliser correctement par rapport à la demande de l'utilisateur."

En utilisant GLM-5-turbo (plan Max), l'utilisateur a écrit avec succès 97 000 mots avec "aucun caprice, aucun tiret cadratin, des chapitres connectés et les appels d'outils ont été presque toujours corrects." Le modèle prend spécifiquement bien en charge OpenClaw selon la source.

Considérations d'utilisation

La source suggère que GLM-5-turbo pourrait être adapté aux projets secondaires nécessitant une assistance en codage, mais met en garde que pour les projets de production nécessitant des facteurs plus stables, "cela ne semble pas être le bon choix." L'utilisateur a également mentionné envisager d'utiliser NemoClaw avec GLM-5-turbo sur une configuration homelab plutôt qu'OpenClaw.

Les données d'utilisation initiales sur Openrouter montrent de bons chiffres pour les premiers 100 milliards de tokens, bien que des métriques spécifiques n'aient pas été fournies dans la source.