ブラインドテスト：ローカルAIエージェント5体、同じQwen 27Bモデル — 1体がインストールプロンプトで失敗

r/openclawの某ユーザーが、5つのローカルコーディングエージェントを同じハードウェアとモデルで同一の5タスクスイートに通し、その後名前を隠して読者にどれがOpenClawかを当てさせた。候補はAtomic Agent、goose、Hermes、OpenClaw、OpenCode。

セットアップ

• モデル: Qwen 3.8 27B uncensored、Q4_K_M量子化
• ランタイム: llama.cpp
• ハードウェア: M5 Max MacBook Pro、64GB RAM
• 一度に1エージェント、自動承認オン
• スクリプトが合否を判定 — 人手による採点なし

タスクは一般的な開発作業だった。2つの連絡先リストの統合、3ファイルにまたがる関数名の変更、隠しテスト付きのバグ修正、3つのログファイル全体のエラー数カウント、レシートPDFのスプレッドシート変換。

結果（名前非公開）

Agent   1. Contacts   2. Rename   3. Bug fix   4. Errors   5. Receipt   Total
A       ✅ 4:54       ✅ 0:28     ✅ 0:43      ✅ 0:26     ✅ 3:58      10:29
B       ✅ 6:03       ✅ 1:11     ✅ 0:55      ✅ 0:54     ✅ 15:04     24:07
C       ✅ 13:32      ✅ 0:24     ❌ 0:22      ✅ 0:57     ❌ 0:49     16:04
D       ✅ 6:16       ✅ 1:12     ✅ 0:56      ✅ 0:56     ✅ 2:50      12:10
E       ✅ 5:50       ✅ 1:01     ✅ 0:21      ✅ 0:26     ✅ 3:56      11:34

5つのうち4つが5タスクすべてに合格。Agent Cは2つ失敗した。

エージェントが分かれた点

レシート→スプレッドシートのタスクで、エージェントAとBは欠落したPythonライブラリに遭遇し、確認せずにインストールした。エージェントCは停止してインストールの許可を求めたが、誰も答えなかったため失敗した。エージェントDは仕事を終え、その後で出力の名前をどうするか尋ねた。

失敗パターンはタイミングよりも重要だ。無人ループ内で人間の入力を待ってブロックするエージェント型コーディングツールは、この種の実行では実質的に機能しない。Cは礼儀正しさの代償を払った。

バグ修正では、Cは"Q3/Q4"を"q3-q4"ではなく"q3q4"に変換した — もっともらしいが誤った変換で、隠しテストがそれを捕まえた。

他のタスクは均一だった。5つすべてが連絡先リストを正しく46人に統合し、5つすべてが3ファイルの名前変更に合格し、5つすべてがログファイル全体で43件のエラーをカウントした。

速度のばらつきは大きかった。Eは11:34で完了、Bは24:07かかり、そのほぼすべてがレシートタスクの15:04によるものだった。これはモデル品質というよりサンプリングとツールコールのリトライによる変動だ。

著者は回答キーを1～2日で公開すると述べており、文字と製品の対応はまだ明らかになっていない。