Процессоры AMD Ryzen AI с NPU получают поддержку LLM в Linux через Lemonade 10.0 и FastFlowLM

Что нового

NPU AMD Ryzen AI теперь могут запускать большие языковые модели на Linux через открытый сервер Lemonade версии 10.0, который включает поддержку NPU на Linux для LLM и Whisper. Это первое практическое использование NPU Ryzen AI на Linux за пределами узкоспециализированного кода.

Технические детали

Реализация построена на FastFlowLM 0.9.35 — рантайме, разработанном специально для Ryzen AI с приоритетом на NPU, который может поддерживать контекст длиной до 256 тысяч токенов на текущем поколении NPU Ryzen AI. Lemonade 10.0 также добавляет нативную интеграцию с Claude Code.

Системные требования:

• Ядро Linux 7.0 ИЛИ бэкпорты драйвера AMDXDNA к существующим стабильным версиям ядра
• Рантайм FastFlowLM 0.9.35
• Сервер Lemonade 10.0

Эта поддержка должна работать со всеми текущими SoC AMD Ryzen AI 300/400 серий. AMD разрабатывала драйвер ускорителя AMDXDNA в основном ядре Linux в течение последних двух лет, но до сих пор поддержка программного обеспечения в пользовательском пространстве была крайне ограниченной.

Контекст

Ранее собственное ПО AMD GAIA на Linux использовало Vulkan с iGPU вместо поддержки NPU. Время появления этой поддержки Linux примечательно в связи с выходом на рынок серии Ryzen AI Embedded P100 и серии Ryzen AI PRO 400, которые, вероятно, будут чаще использоваться на Linux, чем в потребительских развертываниях Windows.

Lemonade предоставляет документацию по запуску LLM на Linux с FastFlowLM и Lemonade.