GLM-5-Turbo、ユーザーテストで低いツール呼び出しエラー率を実証

r/LocalLLaMAで共有されたユーザーテストによると、z-ai/glm-5-turboモデルはツールコールアプリケーションにおいて有望なパフォーマンスを示しています。

ベンチマーク結果

テストでは、このモデルが平均0.57%という非常に低いツールコールエラー率を達成していることが示されています。これは、約3%のエラー率を示す標準GLM-5モデルと比較して大幅な改善であり、GLM-5-turboはツールコールタスクにおいて約6倍の精度を実現しています。

他のプロバイダーのモデルと比較すると：

• Anthropicモデルは0.38%から0.93%の範囲で、平均0.67%
• Amazon Bedrockモデルは1.48%から1.76%の範囲で、平均1.63%
• Google Vertexモデルは0.99%から2.62%の範囲で、平均1.93%

実用的な応用

あるユーザーが、ファンタジー小説執筆用の新しいCLIツールでGLM-5-turboをテストし、以前のモデルと比較して大幅な改善を報告しました。標準GLM-5では、ツールは「英語以外のものに関しては少し不安定で、ユーザーのリクエストと比較してどのコマンドを正しく使用すべきかランダムにわからなくなる」状態でした。

GLM-5-turbo（Maxプラン）を使用すると、ユーザーは「不安定さもなく、ダッシュもなく、章がつながり、ツールコールはほぼ正しく実行された」状態で97,000語を書き上げることに成功しました。ソースによると、このモデルは特にOpenClawをよくサポートしているとのことです。

使用上の考慮事項

ソースでは、GLM-5-turboはコーディング支援を必要とするサイドプロジェクトに適している可能性があると示唆されていますが、より安定した要素を必要とする本番プロジェクトでは「適切な選択肢ではないように感じる」と注意を促しています。また、ユーザーはOpenClawではなく、ホームラボ設定でNemoClawをGLM-5-turboと組み合わせて使用することを検討していると述べています。

Openrouterでの初期使用データは、最初の100Bトークンにおいて良好な数値を示していますが、具体的な指標はソースでは提供されていません。