AMD Ryzen AI Max+クラスターで1兆パラメータのLLMをローカル実行

✍️ OpenClawRadar📅 公開日: March 1, 2026🔗 Source
AMD Ryzen AI Max+クラスターで1兆パラメータのLLMをローカル実行
Ad

AMD Ryzen AI Max+クラスターで1兆パラメータのLLMをローカルで実行

AMDの技術記事では、4台のFramework DesktopシステムとRyzen AI Max+ 395プロセッサを使用して小規模な分散推論クラスターを構築し、llama.cpp RPCでKimi K2.5オープンソースモデル(1兆パラメータ、375GB)を実行する方法を詳述しています。このセットアップでは、4台のマシンを単一の論理AIアクセラレータとして扱います。

ハードウェアとソフトウェアスタック

  • ハードウェア: 4x Framework Desktop - AMD Ryzen AI Max+ 395 - 128GB
  • AIフレームワーク: AMD ROCm
  • 推論エンジン: Llama.cpp RPC
  • OS: Ubuntu 24.04.3 LTS
  • モデル: Kimi-K2.5 (UD_Q2_K_XL) (375GB)
  • ネットワーク: 5Gbps Ethernet

技術的セットアップ: 拡張VRAM割り当て

各Ryzen AI Max+システムでは、まずBIOSでiGPUメモリサイズを512MBに設定する必要があります。BIOS経由でのノードあたりの最大専用VRAMは96GB(4ノード合計384GB)です。Translation Table Manager(TTM)カーネルパラメータを使用すると、ノードあたり120GB(4ノード合計480GB)まで増加します。

カーネルパラメータを設定:

sudo nano /etc/default/grub

GRUB_CMDLINE_LINUX_DEFAULT=で始まる行を見つけ、引用符内に追加:

"quiet splash ttm.pages_limit=30720000 amdgpu.gttsize=120000"

TTM制限は4KBページ単位で表されます。120GBの計算: (120 * 1024 * 1024) / 4.096 = 30720000

保存して終了後、実行:

sudo update-grub
sudo reboot

設定を確認:

$ sudo dmesg | grep "amdgpu.*memory"
[drm] amdgpu: 512M of VRAM memory ready
[drm] amdgpu: 120000M of GTT memory ready.
Ad

セットアップオプション1: Lemonade SDK(推奨)

事前ビルド済みバイナリをダウンロード: https://github.com/lemonade-sdk/llamacpp-rocm/releases/latest/

プラットフォームとGPUターゲットに一致するアーカイブをダウンロード: llama-bxxxx-ubuntu-rocm-gfx1151-x64.zip

解凍して準備:

unzip llama-bxxxx-ubuntu-rocm-gfx1151-x64.zip
cd llama-bxxxx-ubuntu-rocm-gfx1151-x64
chmod +x llama-cli llama-server rpc-server

GPU検出を確認:

$ ./llama-cli --list-devices
ggml_cuda_init: found 1 ROCm devices:
Device 0: AMD Radeon Graphics, gfx1151 (0x1151), VMM: no, Wave Size: 32
Available devices:
ggml_backend_cuda_get_available_uma_memory: final available_memory_kb: 127697544
ROCm0: AMD Radeon Graphics (120000 MiB, 124704 MiB free)

セットアップオプション2: 手動ソースビルド

Ubuntu 24.04.3にROCm 7.0.2をインストール:

wget https://repo.radeon.com/amdgpu-install/7.0.2/ubuntu/noble/amdgpu-install_7.0.2.70002-1_all.deb
sudo apt install ./amdgpu-install_7.0.2.70002-1_all.deb
sudo apt update
sudo apt install python3-setuptools python3-wheel
sudo usermod -a -G render,

記事では、追加のセットアップ手順と推論設定の詳細が続きます。

📖 完全なソースを読む: HN LLM Tools

Ad

👀 See Also

リバースエンジニアリングされたソースからのClaude Codeのプロダクションエンジニアリングパターンの分析
Guides

リバースエンジニアリングされたソースからのClaude Codeのプロダクションエンジニアリングパターンの分析

開発者が、Claude CodeのTypeScriptソースコード約50万行をリバースエンジニアリングし、実際の負荷、実際の資金、実際の攻撃者という条件下で現れるプロダクションエンジニアリングパターンを記録した19章からなる技術ハンドブックを作成しました。

OpenClawRadar
RTX 5090でのAutoResearchの最適化:失敗した点と成功した点
Guides

RTX 5090でのAutoResearchの最適化:失敗した点と成功した点

開発者がRTX 5090/BlackwellセットアップでAutoResearchを実行するための具体的な設定詳細を共有しています。機能しているように見えながらパフォーマンスが低かった失敗したアプローチと、TOTAL_BATCH_SIZE=2**17とTIME_BUDGET=1200で安定した結果を達成した動作設定が含まれています。

OpenClawRadar
OpenClaw Project Operating System:マルチプロジェクト管理フレームワーク
Guides

OpenClaw Project Operating System:マルチプロジェクト管理フレームワーク

プロジェクトを標準化されたディレクトリで分離し、予測可能なタスクにはエージェントではなくcronを使用して自動化し、必須のバックアッププロトコルを実装することで、トークン使用量を削減し実行の一貫性を向上させるフレームワーク。

OpenClawRadar
OpenCLAWメモリの実際の仕組み:エージェントの「忘れ」を修正する
Guides

OpenCLAWメモリの実際の仕組み:エージェントの「忘れ」を修正する

OpenCLAWエージェントは会話間で永続的なメモリを持たず、各セッションでSOUL.md、USER.md、MEMORY.mdなどのファイルからコンテキストを再構築します。一般的な「忘れる」問題は、セッションの肥大化、構造化されていないメモリファイル、チャット履歴と永続ストレージの混同に起因します。

OpenClawRadar