Qwen3.5 vs Claude Sonnet 4.6: 4つのローカルモデルでバグレポートを比較

バグレポート作成のためのローカルモデルテスト

Sonnet/Haikuから32GB M5 MacBook Air上のローカルモデルに移行した開発者が、バグレポート作成能力を評価するために4つのQwen3.5バリアントをテストしました。LM Studioをサーバーとして、opencode CLIを使用してモデルを呼び出し、各モデルにiOSゲームの問題（アイテムを外した後に装備枠の色が適切にリセットされない）を調査し、バグレポートを作成するよう依頼しました。

テストされたモデル

Tesslate/OmniCoder-9B-GGUF Q8_0
lmstudio-community/Qwen3.5-27B-GGUF Q4_K_M
Jackrong/Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-GGUF Q4_K_M
lmstudio-community/Qwen3.5-35B-A3B-GGUF Q4_K_M

バグの検証

コアとなるバグはソースファイルで確認されています。EquipmentSlotNode.swiftでは、setEquipmentメソッドのif let c = borderColorガードがnilが渡されたときに暗黙的に代入をスキップします。EquipmentNode.swiftでは、updateEquipment(from:)が空スロットに対してborderColor: nilを渡すため、枠の色がリセットされません。setEquipmentのドキュメントには「現在の色を維持するにはnilを渡す」と記載されており、壊れた動作を意図的な設計として文書化しています。

Claude Sonnet 4.6によるレポート評価

bug_report_9b_omnicoder — A−

4つの中で最良。最もクリーンで慣用的なSwift修正を提案：borderShape.strokeColor = borderColor ?? theme.textDisabledColor.skColor — if letブロックを不要な分岐なしに1行で置き換え。トリガーフローの一部である追加のコンテキストファイル（GameScene.swift、BackpackManager.swift）に言及した唯一のレポート。

不足点：他の4つのレポートと同様に、テストコードはコンパイルされません。borderShapeはEquipmentSlotNodeでprivate letとして宣言されており、@testable importはinternalのみを公開し、privateは公開しません。ドキュメントコメントの更新が必要な点には言及していません。

bug_report_27b_lmstudiocommunity — B+

正確な診断。クリーンな2分岐修正を提案：if id != nil { borderShape.strokeColor = borderColor ?? theme.textDisabledColor.skColor } else { borderShape.strokeColor = theme.textDisabledColor.skColor } — 必要以上に冗長ですが正しい。EquipmentNode.updateEquipmentを呼び出し元として正しく特定し、統合テストの提案を含む。

不足点：LogicTests/EquipmentNodeTests.swiftでのテストを提案 — このファイルは既に存在し、EquipmentNodeをカバーしており、EquipmentSlotNodeはカバーしていません。テストコードで同じprivateアクセス問題。

bug_report_27b_jackrong — B−

正しい診断ですが、提案された修正は最も弱い。elseブロック内にリセットを追加：borderShape.strokeColor = theme.textDisabledColor.skColor // クリア時の枠リセット — 特定の装備解除ケースでは技術的に正しいが、メソッド全体を混乱した状態に残す。elseブロックの枠リセットは、誰かがid: nil, borderColor: someColorを渡した場合、すぐ下のif letブロックで上書きされる可能性があります。この修正は特定の失敗をパッチするだけで、冗長性を解消しません。

開発者は、RAMにできるだけ多くのデータを収めるためにコンテキストウィンドウサイズを除いてデフォルトパラメータを使用し、いくつかの調整が改善をもたらす可能性があると指摘しました。いくつかのunslothモデルを試しましたが、限定的な成功しか得られませんでした。

📖 完全なソースを読む： r/LocalLLaMA