GLM-5-Turbo Muestra una Baja Tasa de Error en Llamadas a Herramientas durante Pruebas de Usuario

El modelo z-ai/glm-5-turbo está mostrando un rendimiento prometedor para aplicaciones de llamadas a herramientas según pruebas de usuarios compartidas en r/LocalLLaMA.

Resultados de Evaluación

Las pruebas indican que el modelo logra una tasa de error muy baja del 0.57% en promedio para llamadas a herramientas. Esto representa una mejora significativa sobre el modelo estándar GLM-5, que muestra aproximadamente un 3% de tasa de error, lo que hace que GLM-5-turbo sea aproximadamente 6 veces más preciso para tareas de llamadas a herramientas.

En comparación con modelos de otros proveedores:

• Los modelos de Anthropic varían del 0.38% al 0.93% con un promedio del 0.67%
• Los modelos de Amazon Bedrock varían del 1.48% al 1.76% con un promedio del 1.63%
• Los modelos de Google Vertex varían del 0.99% al 2.62% con un promedio del 1.93%

Aplicación Práctica

Un usuario probó GLM-5-turbo con una herramienta CLI para escribir novelas de fantasía y reportó mejoras sustanciales sobre modelos anteriores. Con el GLM-5 estándar, la herramienta era "un poco inestable cuando se trataba de algo no inglés, y aleatoriamente no sabía qué comando usar correctamente en comparación con la solicitud del usuario".

Usando GLM-5-turbo (plan Max), el usuario escribió exitosamente 97,000 palabras con "sin inestabilidad, sin guiones largos, capítulos conectados y las llamadas a herramientas se han realizado casi correctamente". Según la fuente, el modelo específicamente funciona bien con OpenClaw.

Consideraciones de Uso

La fuente sugiere que GLM-5-turbo puede ser adecuado para proyectos secundarios que requieren asistencia de codificación, pero advierte que para proyectos de producción que requieren factores más estables, "parece que no es la elección correcta". El usuario también mencionó considerar usar NemoClaw con GLM-5-turbo en una configuración de homelab en lugar de OpenClaw.

Los datos iniciales de uso en Openrouter muestran buenos números para los primeros 100B tokens, aunque no se proporcionaron métricas específicas en la fuente.