ホームラボ開発者、AMD Strix Haloで45の実践テストにより19のローカルLLMをベンチマーク

✍️ OpenClawRadar📅 公開日: April 14, 2026🔗 Source
ホームラボ開発者、AMD Strix Haloで45の実践テストにより19のローカルLLMをベンチマーク
Ad

実世界のLLM使用ケースのための実践的ベンチマーク

ホームラボ環境を持つ開発者が、一般的な学術的ベンチマークではなく実際の使用ケースを中心に設計されたカスタム45テストベンチマークスイートを使用して、ローカルLLMの広範なテストを実施しました。テストは、AMD Strix Haloシステム(Ryzen AI MAX+ 395、128GB RAM、96GB共有VRAM)上で、Vulkan/RADVとllama-server(kyuz0 Dockerイメージ)を使用して実行されました。

カスタムベンチマークの重要性

開発者はインタラクティブなコーディングにClaude Opusを使用していますが、24時間365日のサービスにはローカルモデルが必要であり、これには以下が含まれます:

  • 15分ごとに実行され、50通以上のメールを分類するメール分類
  • モーションアラートを説明するために視覚モデルを使用するカメラ通知
  • 食事制限を考慮した食事計画
  • 税務シナリオとポートフォリオ予測のための財務分析
  • Home Assistantオートメーションの生成と検証

これらのタスクには、MMLUスコアなどの一般的なベンチマークでは十分に測定できない、高速で信頼性が高く、構造化された出力能力に優れたモデルが必要です。

45テストスイート

このベンチマークには12のカテゴリにわたるテストが含まれており、各テストはClaude Opus 4.6によって特定の評価基準に対して0〜10点で採点されます:

  • コーディング(4テスト):Docker Compose、systemdサービス、Pythonスクリプト、コードレビュー
  • ホームラボ運用(6テスト):メモリ分析、OOMデバッグ、ディスクトリアージ、ネットワークデバッグ、ログ解析
  • ツール呼び出し(5テスト):Proxmox pct/qmコマンド、SSHチェーン、Docker操作、gitワークフロー
  • 食事/食事計画(6テスト):JSON食事計画、準備スケジュール、レシピのスケーリング、買い物リスト、栄養
  • 財務(5テスト):税計算、ポートフォリオ分析、FIRE予測、税損失売却
  • メール分類(3テスト):カテゴリ割り当て、曖昧なケース、購読解除の決定
  • Home Assistant(3テスト):オートメーションYAML、テンプレートセンサー、条件
  • 数学(4テスト):住宅ローンの返済、確率、数論、税最適化
  • 推論(3テスト):光熱費、統計、論理制約
  • 指示の遵守(3テスト):形式の遵守、JSON出力、否定的制約
  • 長文脈(1テスト):8Kトークンのインフラ文書からの事実抽出
  • 速度(2テスト):初回トークンまでの時間、持続的生成

9つのテストは、開発者の最も一般的な使用ケースにとって「重要」として2倍の重み付けがされており、最大可能スコアは540です。

Ad

テスト方法論

各テストには、良い回答を構成するものを定義する特定の評価基準があります。例えば、メモリ分析テストでは、「空き」メモリ(5.7G)ではなく「利用可能」メモリ(22G)が実際の空きメトリックであり、スワップ使用量は重要でないことを正しく識別する必要があります。税計算テストでは、正しいAGI、課税所得、および税率区分の計算をチェックします。すべての生の回答と評価基準は、相互チェックのために保存されています。

テストされたモデル

開発者は、Vulkanとllama-serverを使用して、6つのファミリーにわたる19のモデル構成をテストしました。これには以下が含まれます:

  • Qwenファミリー:Qwen3.5-122B-A10B(10BアクティブMoE)- 以前に本番環境で使用、Qwen3-Coder-Next 80B-A3B(3Bアクティブ)
  • Gemma 4 26B-A4B - 当初は壊れているように見えた2つの別々のバグを修正した後、最終的にトップに立った

開発者は、これは厳密な学術的方法論ではなく、特定のホームラボタスクに最適なモデルを決定するための実践的なテストであると述べています。

📖 完全なソースを読む: r/LocalLLaMA

Ad

👀 See Also

ChromeでClaudeを使用した意図ベースのソーシャルメディアモニタリング
Use Cases

ChromeでClaudeを使用した意図ベースのソーシャルメディアモニタリング

Redditユーザーが、単なるキーワードではなくターゲットオーディエンスに関するコンテキストを提供することで、ソーシャルメディア監視を自動化するためにChromeのClaudeを使用した経験を説明しています。この拡張機能はページの内容を読み取り、意味に基づいて判断を下し、実行可能な調査結果をHTMLファイルに出力します。

OpenClawRadar
決定論的なジョブインテルパイプラインをOpenClawアシストで構築
Use Cases

決定論的なジョブインテルパイプラインをOpenClawアシストで構築

ある開発者が、求職活動のためのスタンドアロンなPythonパイプライン「findmejobs」を構築しました。このパイプラインは、プロフィールの初期設定とレビュー/ドラフト作成のためのサニタイズにのみOpenClawを使用し、決定論的なランキングと再実行可能なステージを特徴としています。

OpenClawRadar
Claude CodeをKubernetes CronJobとして実行:本番環境での学びとオープンソース化されたセットアップ
Use Cases

Claude CodeをKubernetes CronJobとして実行:本番環境での学びとオープンソース化されたセットアップ

everyrow.ioのチームが、Kubernetes CronJobとしてClaude Codeを無人で実行した経験を共有し、文書化されていない特性を記録し、Dockerfile、エントリーポイント、Helmチャート、ロギング設定をオープンソース化しました。

OpenClawRadar
本番環境で日次実行されるマルチエージェントセキュリティレビュー:アーキテクチャと発見事項
Use Cases

本番環境で日次実行されるマルチエージェントセキュリティレビュー:アーキテクチャと発見事項

ultrathink.artでは、専用のセキュリティエージェントを含む6つ以上のAIエージェントを本番環境で稼働させています。このセキュリティエージェントは、構造化されたチェックリストに基づいて毎日脆弱性チェックを実施し、優先度別のタスクとして結果を記録し、コーディングエージェントが自動的に修正を行います。

OpenClawRadar