GLM-5-Turbo、ユーザーテストで低いツール呼び出しエラー率を実証
r/LocalLLaMAで共有されたユーザーテストによると、z-ai/glm-5-turboモデルはツールコールアプリケーションにおいて有望なパフォーマンスを示しています。
ベンチマーク結果
テストでは、このモデルが平均0.57%という非常に低いツールコールエラー率を達成していることが示されています。これは、約3%のエラー率を示す標準GLM-5モデルと比較して大幅な改善であり、GLM-5-turboはツールコールタスクにおいて約6倍の精度を実現しています。
他のプロバイダーのモデルと比較すると：
- Anthropicモデルは0.38%から0.93%の範囲で、平均0.67%
- Amazon Bedrockモデルは1.48%から1.76%の範囲で、平均1.63%
- Google Vertexモデルは0.99%から2.62%の範囲で、平均1.93%
実用的な応用
あるユーザーが、ファンタジー小説執筆用の新しいCLIツールでGLM-5-turboをテストし、以前のモデルと比較して大幅な改善を報告しました。標準GLM-5では、ツールは「英語以外のものに関しては少し不安定で、ユーザーのリクエストと比較してどのコマンドを正しく使用すべきかランダムにわからなくなる」状態でした。
GLM-5-turbo（Maxプラン）を使用すると、ユーザーは「不安定さもなく、ダッシュもなく、章がつながり、ツールコールはほぼ正しく実行された」状態で97,000語を書き上げることに成功しました。ソースによると、このモデルは特にOpenClawをよくサポートしているとのことです。
使用上の考慮事項
ソースでは、GLM-5-turboはコーディング支援を必要とするサイドプロジェクトに適している可能性があると示唆されていますが、より安定した要素を必要とする本番プロジェクトでは「適切な選択肢ではないように感じる」と注意を促しています。また、ユーザーはOpenClawではなく、ホームラボ設定でNemoClawをGLM-5-turboと組み合わせて使用することを検討していると述べています。
Openrouterでの初期使用データは、最初の100Bトークンにおいて良好な数値を示していますが、具体的な指標はソースでは提供されていません。
📖 Read the full source: r/LocalLLaMA
👀 See Also
無料のWizardがChatGPTの履歴をClaude Projectsに移行 — トークン制限とRAGに関する重要な教訓
コード不要の無料ツールがChatGPTのエクスポートをClaude Projectsに移行し、26MBのJSONがトークン上限に達する問題と、話題ごとの分割が解決策であることを明らかに。ClaudeのRAGは大きなファイルの一部しか読み込まないため、具体的なクエリが最も効果的。
ユーザー構築のPTC for Claude Codeは、コード記述ではなく分析タスクにおいて40〜65％のトークン節約を示しています。
ある開発者がClaude Code向けにThalamusというローカルPTC実装を構築し、79の実際のセッションを分析したところ、分析タスクでは40-65%のトークン節約効果があったものの、コード記述タスクではほぼゼロの節約に留まりました。エージェントは主にツール呼び出しのバッチ処理ではなく、一般的なPython計算のためにexecute()を使用していました。
クロードコードフックはAIコーディングワークフローにおけるWIP（仕掛かり作業）の蓄積を監視します
開発者がClaude Code用のUserPromptSubmitフックを構築し、4つのキューにわたる進行中の作業の蓄積を可視化しました：200行を超える未コミットの変更、3つ以上の未プッシュコミット、変更セットファイルのないプッシュ済みコミット、24時間以上開かれているリリースPRです。
lazyclaude: Claudeコード設定管理のためのTUI
lazyclaudeは、lazygitにインスパイアされたターミナルユーザーインターフェースツールで、ディスク上に保存されたClaude Codeのすべての設定を管理するための単一ビューを提供します。これには、メモリファイル、スキル、エージェント、MCPサーバー、設定、権限、フック、キーバインド、セッション、統計、プラグイン、ToDoなどが含まれます。