AMD Ryzen AI Max+クラスターで1兆パラメータのLLMをローカル実行

✍️ OpenClawRadar📅 公開日: March 1, 2026🔗 Source
AMD Ryzen AI Max+クラスターで1兆パラメータのLLMをローカル実行
Ad

AMD Ryzen AI Max+クラスターで1兆パラメータのLLMをローカルで実行

AMDの技術記事では、4台のFramework DesktopシステムとRyzen AI Max+ 395プロセッサを使用して小規模な分散推論クラスターを構築し、llama.cpp RPCでKimi K2.5オープンソースモデル(1兆パラメータ、375GB)を実行する方法を詳述しています。このセットアップでは、4台のマシンを単一の論理AIアクセラレータとして扱います。

ハードウェアとソフトウェアスタック

  • ハードウェア: 4x Framework Desktop - AMD Ryzen AI Max+ 395 - 128GB
  • AIフレームワーク: AMD ROCm
  • 推論エンジン: Llama.cpp RPC
  • OS: Ubuntu 24.04.3 LTS
  • モデル: Kimi-K2.5 (UD_Q2_K_XL) (375GB)
  • ネットワーク: 5Gbps Ethernet

技術的セットアップ: 拡張VRAM割り当て

各Ryzen AI Max+システムでは、まずBIOSでiGPUメモリサイズを512MBに設定する必要があります。BIOS経由でのノードあたりの最大専用VRAMは96GB(4ノード合計384GB)です。Translation Table Manager(TTM)カーネルパラメータを使用すると、ノードあたり120GB(4ノード合計480GB)まで増加します。

カーネルパラメータを設定:

sudo nano /etc/default/grub

GRUB_CMDLINE_LINUX_DEFAULT=で始まる行を見つけ、引用符内に追加:

"quiet splash ttm.pages_limit=30720000 amdgpu.gttsize=120000"

TTM制限は4KBページ単位で表されます。120GBの計算: (120 * 1024 * 1024) / 4.096 = 30720000

保存して終了後、実行:

sudo update-grub
sudo reboot

設定を確認:

$ sudo dmesg | grep "amdgpu.*memory"
[drm] amdgpu: 512M of VRAM memory ready
[drm] amdgpu: 120000M of GTT memory ready.
Ad

セットアップオプション1: Lemonade SDK(推奨)

事前ビルド済みバイナリをダウンロード: https://github.com/lemonade-sdk/llamacpp-rocm/releases/latest/

プラットフォームとGPUターゲットに一致するアーカイブをダウンロード: llama-bxxxx-ubuntu-rocm-gfx1151-x64.zip

解凍して準備:

unzip llama-bxxxx-ubuntu-rocm-gfx1151-x64.zip
cd llama-bxxxx-ubuntu-rocm-gfx1151-x64
chmod +x llama-cli llama-server rpc-server

GPU検出を確認:

$ ./llama-cli --list-devices
ggml_cuda_init: found 1 ROCm devices:
Device 0: AMD Radeon Graphics, gfx1151 (0x1151), VMM: no, Wave Size: 32
Available devices:
ggml_backend_cuda_get_available_uma_memory: final available_memory_kb: 127697544
ROCm0: AMD Radeon Graphics (120000 MiB, 124704 MiB free)

セットアップオプション2: 手動ソースビルド

Ubuntu 24.04.3にROCm 7.0.2をインストール:

wget https://repo.radeon.com/amdgpu-install/7.0.2/ubuntu/noble/amdgpu-install_7.0.2.70002-1_all.deb
sudo apt install ./amdgpu-install_7.0.2.70002-1_all.deb
sudo apt update
sudo apt install python3-setuptools python3-wheel
sudo usermod -a -G render,

記事では、追加のセットアップ手順と推論設定の詳細が続きます。

📖 完全なソースを読む: HN LLM Tools

Ad

👀 See Also

Claude Code O365 MCP 条件付きアクセス設定の問題と解決策
Guides

Claude Code O365 MCP 条件付きアクセス設定の問題と解決策

開発者が、条件付きアクセスポリシーの下でClaude CodeのO365 MCPコネクタを設定する際に遭遇した2つの問題とその具体的な解決策を共有しています。それは、ポリシールールのための正しいアプリケーションIDを見つけることと、サーバーの所在地に関連する認証エラーの解決です。

OpenClawRadar
月額50ドル未満でClaude CodeとMetabaseを使った本格的なBIシステム構築
Guides

月額50ドル未満でClaude CodeとMetabaseを使った本格的なBIシステム構築

RedditユーザーがClaude Code、BigQuery、セルフホスト型Metabaseを使って完全なBIシステムを構築。1万5千ドルの専門家見積もりを、3日間の作業と月額30ドルのクラウド費用で代替した。

OpenClawRadar
インタラクティブな解説マップ:Claude Codeエージェントループ設計、単一呼び出しから自己変異プロンプトまで
Guides

インタラクティブな解説マップ:Claude Codeエージェントループ設計、単一呼び出しから自己変異プロンプトまで

Opus 4.7 で構築されたインタラクティブサイトが、Claude Code の 11 種類の実際のエージェントループデザインを視覚化。基本呼び出しから、自身のプロンプトを書き換えるエージェントまで、メモリとループ機構を SVG アニメーションで解説します。

OpenClawRadar
Opus 4.7 でプロンプトの40%が破損、修正方法は CLAUDE.md とスキルの構造化
Guides

Opus 4.7 でプロンプトの40%が破損、修正方法は CLAUDE.md とスキルの構造化

Opus 4.7が6つの環境でプロンプトの約40%を劣化させた後、AIのフラクショナルヘッドがアドホックなプロンプトを構造化されたSkillファイル、階層的なCLAUDE.md、個別のメモリファイルに置き換えることで修正し、トークン使用量を22%削減し、反復ターンを3-4から1-2に減らしました。

OpenClawRadar