GLM-5-Turbo демонстрирует низкий уровень ошибок при вызове инструментов в пользовательском тестировании.

Модель z-ai/glm-5-turbo демонстрирует многообещающую производительность для приложений с вызовом инструментов, согласно пользовательским тестам, опубликованным на r/LocalLLaMA.

Результаты тестирования

Тестирование показывает, что модель достигает очень низкой частоты ошибок при вызове инструментов — в среднем 0,57%. Это представляет собой значительное улучшение по сравнению со стандартной моделью GLM-5, которая показывает примерно 3% ошибок — что делает GLM-5-turbo примерно в 6 раз точнее для задач вызова инструментов.

По сравнению с моделями других поставщиков:

• Модели Anthropic варьируются от 0,38% до 0,93% со средним значением 0,67%
• Модели Amazon Bedrock варьируются от 1,48% до 1,76% со средним значением 1,63%
• Модели Google Vertex варьируются от 0,99% до 2,62% со средним значением 1,93%

Практическое применение

Пользователь протестировал GLM-5-turbo с новым CLI-инструментом для написания фэнтези-романов и сообщил о существенных улучшениях по сравнению с предыдущими моделями. Со стандартной GLM-5 инструмент был «немного ненадёжным, когда дело касалось чего-то неанглийского, и иногда неправильно определял, какую команду использовать в соответствии с запросом пользователя».

Используя GLM-5-turbo (план Max), пользователь успешно написал 97 000 слов «без сбоев, без тире, с связанными главами, и вызовы инструментов почти всегда выполнялись правильно». Согласно источнику, модель особенно хорошо поддерживает OpenClaw.

Соображения по использованию

Источник предполагает, что GLM-5-turbo может подходить для побочных проектов, требующих помощи в программировании, но предупреждает, что для производственных проектов, требующих большей стабильности, «это кажется не лучшим выбором». Пользователь также упомянул о рассмотрении возможности использования NemoClaw с GLM-5-turbo в домашней лабораторной установке вместо OpenClaw.

Первоначальные данные об использовании на Openrouter показывают хорошие показатели для первых 100 млрд токенов, хотя конкретные метрики не были предоставлены в источнике.