ホームラボ開発者、AMD Strix Haloで45の実践テストにより19のローカルLLMをベンチマーク

✍️ OpenClawRadar📅 公開日: April 14, 2026🔗 Source
ホームラボ開発者、AMD Strix Haloで45の実践テストにより19のローカルLLMをベンチマーク
Ad

実世界のLLM使用ケースのための実践的ベンチマーク

ホームラボ環境を持つ開発者が、一般的な学術的ベンチマークではなく実際の使用ケースを中心に設計されたカスタム45テストベンチマークスイートを使用して、ローカルLLMの広範なテストを実施しました。テストは、AMD Strix Haloシステム(Ryzen AI MAX+ 395、128GB RAM、96GB共有VRAM)上で、Vulkan/RADVとllama-server(kyuz0 Dockerイメージ)を使用して実行されました。

カスタムベンチマークの重要性

開発者はインタラクティブなコーディングにClaude Opusを使用していますが、24時間365日のサービスにはローカルモデルが必要であり、これには以下が含まれます:

  • 15分ごとに実行され、50通以上のメールを分類するメール分類
  • モーションアラートを説明するために視覚モデルを使用するカメラ通知
  • 食事制限を考慮した食事計画
  • 税務シナリオとポートフォリオ予測のための財務分析
  • Home Assistantオートメーションの生成と検証

これらのタスクには、MMLUスコアなどの一般的なベンチマークでは十分に測定できない、高速で信頼性が高く、構造化された出力能力に優れたモデルが必要です。

45テストスイート

このベンチマークには12のカテゴリにわたるテストが含まれており、各テストはClaude Opus 4.6によって特定の評価基準に対して0〜10点で採点されます:

  • コーディング(4テスト):Docker Compose、systemdサービス、Pythonスクリプト、コードレビュー
  • ホームラボ運用(6テスト):メモリ分析、OOMデバッグ、ディスクトリアージ、ネットワークデバッグ、ログ解析
  • ツール呼び出し(5テスト):Proxmox pct/qmコマンド、SSHチェーン、Docker操作、gitワークフロー
  • 食事/食事計画(6テスト):JSON食事計画、準備スケジュール、レシピのスケーリング、買い物リスト、栄養
  • 財務(5テスト):税計算、ポートフォリオ分析、FIRE予測、税損失売却
  • メール分類(3テスト):カテゴリ割り当て、曖昧なケース、購読解除の決定
  • Home Assistant(3テスト):オートメーションYAML、テンプレートセンサー、条件
  • 数学(4テスト):住宅ローンの返済、確率、数論、税最適化
  • 推論(3テスト):光熱費、統計、論理制約
  • 指示の遵守(3テスト):形式の遵守、JSON出力、否定的制約
  • 長文脈(1テスト):8Kトークンのインフラ文書からの事実抽出
  • 速度(2テスト):初回トークンまでの時間、持続的生成

9つのテストは、開発者の最も一般的な使用ケースにとって「重要」として2倍の重み付けがされており、最大可能スコアは540です。

Ad

テスト方法論

各テストには、良い回答を構成するものを定義する特定の評価基準があります。例えば、メモリ分析テストでは、「空き」メモリ(5.7G)ではなく「利用可能」メモリ(22G)が実際の空きメトリックであり、スワップ使用量は重要でないことを正しく識別する必要があります。税計算テストでは、正しいAGI、課税所得、および税率区分の計算をチェックします。すべての生の回答と評価基準は、相互チェックのために保存されています。

テストされたモデル

開発者は、Vulkanとllama-serverを使用して、6つのファミリーにわたる19のモデル構成をテストしました。これには以下が含まれます:

  • Qwenファミリー:Qwen3.5-122B-A10B(10BアクティブMoE)- 以前に本番環境で使用、Qwen3-Coder-Next 80B-A3B(3Bアクティブ)
  • Gemma 4 26B-A4B - 当初は壊れているように見えた2つの別々のバグを修正した後、最終的にトップに立った

開発者は、これは厳密な学術的方法論ではなく、特定のホームラボタスクに最適なモデルを決定するための実践的なテストであると述べています。

📖 完全なソースを読む: r/LocalLLaMA

Ad

👀 See Also

実験:Claudeに持続的記憶、自由思考時間、マルチエージェント会話機能を付与
Use Cases

実験:Claudeに持続的記憶、自由思考時間、マルチエージェント会話機能を付与

開発者が、Mac上で動作するClaudeインスタンスを作成しました。このインスタンスは15分ごとにMatrixとBlueskyのメッセージをチェックし、1日に5回の非構造化思考時間を持ち、構造化された自己評価を通じて持続的な記憶を維持します。異なるプロジェクトから来た3つの別々のAIエージェントがMatrixチャットルームを共有し、時間とともに進化する哲学的会話を交わしています。

OpenClawRadar
開発者がClaude AIを活用して姿勢スキャナーアプリ「PosturePal」を構築
Use Cases

開発者がClaude AIを活用して姿勢スキャナーアプリ「PosturePal」を構築

開発者が、Claude AIを活用して構築したPosturePal: Posture Scannerについての経験を共有しました。このiOSアプリは、横顔写真から姿勢をAI分析するもので、コード作成、製品判断、ユーザーフィードバックの伝達、コピーライティングなど、複数の側面でClaude AIが重要な役割を果たしました。アプリは横顔写真を分析して姿勢スコアを提供し、特定の問題を特定し、個別に合わせたエクササイズを生成します。

OpenClawRadar
開発ライフサイクル全体を通して純粋な評価エンジンとしてClaude Codeを実行する
Use Cases

開発ライフサイクル全体を通して純粋な評価エンジンとしてClaude Codeを実行する

ある開発者が、多層システム内で推論エンジンとしてClaude Codeを使用するアーキテクチャを共有します。Pythonがオーケストレーションを担当し、Claude Codeがコード作成とレビューを担当し、分離されたサブエージェントと永続的なWikiレイヤーを備えています。

OpenClawRadar
Slack用OpenClawのセルフホスティング:3つの失敗モードとマネージドな代替案
Use Cases

Slack用OpenClawのセルフホスティング:3つの失敗モードとマネージドな代替案

ある開発者が、Slack用OpenClawのセルフホスティングに3度失敗した経験を記録しました。WebSocketの切断、API障害時の処理問題、トークンローテーションのサイレント失敗に直面した後、マネージドサービスであるSlackClaw.aiに切り替えました。

OpenClawRadar