OpenClawベンチマークが示す:Qwen3.5:27B、エージェントタスクで他のローカルLLMを凌駕

✍️ OpenClawRadar📅 公開日: March 28, 2026🔗 Source
OpenClawベンチマークが示す:Qwen3.5:27B、エージェントタスクで他のローカルLLMを凌駕
Ad

ベンチマークの設定と結果

ユーザーは、Raspberry Pi 5とRTX 3090でOllamaを実行し、OpenClawを使用して22の実践的なエージェントタスクで7つのローカルモデルをテストしました。タスクには、メールの読み取り、会議のスケジューリング、タスクの作成、フィッシングの検出、エラー処理、ブラウザ自動化が含まれていました。

圧倒的な差で優勝したのは、59.4%を記録したqwen3.5:27b-q4_K_Mでした。2位のqwen3.5:35bはわずか23.2%しか得点できませんでした。他のすべてのモデルは5%未満のスコアでした。

主な発見

  • 量子化された27Bモデルが、より大きな35Bバージョンを2.5倍上回りました
  • 30Bモデルは1.6%で最下位でした
  • 中程度の思考量が最も効果的で、思考しすぎるとパフォーマンスが低下しました
  • ブラウザ自動化タスクを完了できるモデルはゼロでした
  • 優勝モデルと敗北モデルの主な違いは、コマンドラインツールを見つけて使用できるかどうかでした
  • ほとんどのモデルは、メール機能のような基本的なツールすら見つけることができませんでした

このベンチマークは、さまざまなローカルLLMが実践的なシナリオでAIエージェントとしてどのように機能するかについて具体的なデータを提供します。トップモデルと他のモデルとの間の大きなパフォーマンスギャップは、ツール発見能力がローカルLLMエージェントにとって重要なボトルネックであることを示唆しています。

📖 Read the full source: r/LocalLLaMA

Ad

👀 See Also

skill-depot: MCP互換AIエージェント向けのローカルファーストメモリおよびスキルシステム
Tools

skill-depot: MCP互換AIエージェント向けのローカルファーストメモリおよびスキルシステム

skill-depotは、エージェントの知識をMarkdownファイルとして保存し、ベクトル埋め込みを使用して意味的に検索し、関連するコンテンツのみを選択的に読み込む検索システムです。100%ローカルで動作し、APIキーは不要で、MCP互換のあらゆるエージェントと連携でき、npx skill-depot initでセットアップできます。

OpenClawRadar
抽出を超えた永続的インデックス:YouTube MCPサーバーのアーキテクチャ
Tools

抽出を超えた永続的インデックス:YouTube MCPサーバーのアーキテクチャ

開発者が、一般的な「抽出して忘れる」パターンとは対照的に、永続的なローカルインデックスを実装したYouTube MCPサーバーの構築に関する詳細なアーキテクチャノートを共有しました。主要な決定事項には、3段階のフォールバックシステム、ベクトルストレージ用のSQLite + sqlite-vec、埋め込みプロバイダーの抽象化、および独立した視覚検索インデックスが含まれます。

OpenClawRadar
Qwen3.6:27b + カスタムGoエージェント:Claude Codeのローカル代替
Tools

Qwen3.6:27b + カスタムGoエージェント:Claude Codeのローカル代替

開発者がQwen3.6:27b(Q8量子化)をRTX 6000(96GB)でテストし、日常のコーディングでClaude Codeに匹敵すると主張。プラグインやMCPのない最小限のGoエージェントをオープンソース化。

OpenClawRadar
OpenCortex:OpenClawのための自己改善型メモリシステム
Tools

OpenCortex:OpenClawのための自己改善型メモリシステム

OpenCortexは、OpenClawの平坦なMEMORY.mdファイルを、プロジェクト、連絡先、ワークフロー、設定、実行手順書、ツール、インフラストラクチャごとに整理された構造化メモリファイルに置き換えます。毎晩の蒸留による原則遵守監査と、毎週の統合によるパターン検出と自動実行手順書作成が含まれています。

OpenClawRadar