AMD Ryzen AI NPUがLemonade 10.0とFastFlowLMでLinux LLMサポートを獲得

新機能

AMD Ryzen AI NPUは、オープンソースのLemonadeサーバーバージョン10.0を通じて、Linux上で大規模言語モデルを実行できるようになりました。このバージョンには、LLMとWhisperのためのLinux NPUサポートが含まれており、ニッチなコードを超えたLinux上でのRyzen AI NPUの初めての実用的な使用例となります。

技術詳細

この実装は、FastFlowLM 0.9.35を基盤としており、これはRyzen AI専用に構築されたNPU優先のランタイムで、現在の世代のRyzen AI NPUで最大256kトークンのコンテキスト長をサポートできます。Lemonade 10.0には、Claude Codeとのネイティブ統合も追加されています。

システム要件:

• Linux 7.0カーネル または 既存の安定版カーネルバージョンへのAMDXDNAドライバーバックポート
• FastFlowLM 0.9.35ランタイム
• Lemonade 10.0サーバー

このサポートは、現在のすべてのAMD Ryzen AI 300/400シリーズSoCで動作するはずです。AMDは過去2年間にわたってメインラインLinuxカーネルでAMDXDNAアクセラレータードライバーを開発してきましたが、これまでユーザースペースのソフトウェアサポートは非常に限られていました。

背景

以前は、AMD独自のGAIAソフトウェアはLinux上でNPUサポートではなく、iGPUを使用したVulkanを利用していました。このLinuxサポートのタイミングは、Ryzen AI Embedded P100シリーズの市場投入と、コンシューマー向けWindows展開よりもLinux使用が増える可能性が高いRyzen AI PRO 400シリーズの登場と合わせて注目に値します。

Lemonadeは、FastFlowLMとLemonadeを使用してLinux上でLLMを実行するためのドキュメントを提供しています。