AMD 라이젠 AI NPU, 레모네이드 10.0 및 패스트플로우LM을 통해 리눅스 LLM 지원 획득

새로운 소식

AMD Ryzen AI NPU가 이제 오픈소스 Lemonade 서버 버전 10.0을 통해 Linux에서 대규모 언어 모델을 실행할 수 있게 되었으며, 이 버전은 LLM과 Whisper에 대한 Linux NPU 지원을 포함합니다. 이는 니치 코드를 넘어 Linux에서 Ryzen AI NPU의 첫 번째 실용적인 사용을 의미합니다.

기술적 세부사항

이 구현은 현재 세대 Ryzen AI NPU로 최대 256k 토큰의 컨텍스트 길이를 지원할 수 있는 Ryzen AI 전용으로 구축된 NPU 우선 런타임인 FastFlowLM 0.9.35를 기반으로 합니다. Lemonade 10.0은 또한 Claude Code와의 네이티브 통합을 추가합니다.

시스템 요구사항:

• Linux 7.0 커널 또는 기존 안정적인 커널 버전에 대한 AMDXDNA 드라이버 백포트
• FastFlowLM 0.9.35 런타임
• Lemonade 10.0 서버

이 지원은 모든 현재 AMD Ryzen AI 300/400 시리즈 SoC와 호환되어야 합니다. AMD는 지난 2년 동안 메인라인 Linux 커널에서 AMDXDNA 가속기 드라이버를 개발해 왔지만, 지금까지 사용자 공간 소프트웨어 지원은 극히 제한적이었습니다.

배경

이전에는 AMD 자체의 Linux용 GAIA 소프트웨어가 NPU 지원 대신 iGPU와 함께 Vulkan을 사용했습니다. 이 Linux 지원 시기는 Ryzen AI Embedded P100 시리즈가 시장에 출시되고 Ryzen AI PRO 400 시리즈가 소비자 Windows 배포보다 더 많은 Linux 사용을 보게 될 가능성이 있는 시점에 주목할 만합니다.

Lemonade는 FastFlowLM과 Lemonade를 사용하여 Linux에서 LLM을 실행하는 방법에 대한 문서를 제공합니다.