AMD 라이젠 AI NPU, 레모네이드 10.0 및 패스트플로우LM을 통해 리눅스 LLM 지원 획득
새로운 소식
AMD Ryzen AI NPU가 이제 오픈소스 Lemonade 서버 버전 10.0을 통해 Linux에서 대규모 언어 모델을 실행할 수 있게 되었으며, 이 버전은 LLM과 Whisper에 대한 Linux NPU 지원을 포함합니다. 이는 니치 코드를 넘어 Linux에서 Ryzen AI NPU의 첫 번째 실용적인 사용을 의미합니다.
기술적 세부사항
이 구현은 현재 세대 Ryzen AI NPU로 최대 256k 토큰의 컨텍스트 길이를 지원할 수 있는 Ryzen AI 전용으로 구축된 NPU 우선 런타임인 FastFlowLM 0.9.35를 기반으로 합니다. Lemonade 10.0은 또한 Claude Code와의 네이티브 통합을 추가합니다.
시스템 요구사항:
- Linux 7.0 커널 또는 기존 안정적인 커널 버전에 대한 AMDXDNA 드라이버 백포트
- FastFlowLM 0.9.35 런타임
- Lemonade 10.0 서버
이 지원은 모든 현재 AMD Ryzen AI 300/400 시리즈 SoC와 호환되어야 합니다. AMD는 지난 2년 동안 메인라인 Linux 커널에서 AMDXDNA 가속기 드라이버를 개발해 왔지만, 지금까지 사용자 공간 소프트웨어 지원은 극히 제한적이었습니다.
배경
이전에는 AMD 자체의 Linux용 GAIA 소프트웨어가 NPU 지원 대신 iGPU와 함께 Vulkan을 사용했습니다. 이 Linux 지원 시기는 Ryzen AI Embedded P100 시리즈가 시장에 출시되고 Ryzen AI PRO 400 시리즈가 소비자 Windows 배포보다 더 많은 Linux 사용을 보게 될 가능성이 있는 시점에 주목할 만합니다.
Lemonade는 FastFlowLM과 Lemonade를 사용하여 Linux에서 LLM을 실행하는 방법에 대한 문서를 제공합니다.
📖 전체 원문 읽기: HN AI Agents
👀 See Also
클로드 코드 v2.1.86: 세션 헤더, 메모리 수정 및 토큰 최적화
Claude Code v2.1.86는 프록시 집계를 위한 X-Claude-Code-Session-Id 헤더를 추가하고, 긴 세션에서의 메모리 증가 문제를 해결하며, @로 파일을 언급할 때 토큰 오버헤드를 줄였습니다. 이번 릴리스는 Windows에서의 설정 손상 및 OAuth URL 복사 문제를 포함한 18가지 특정 문제를 해결했습니다.
조지아 AI 데이터 센터, 무계량 2천9백만 갤런의 물 소비
QTS Fayetteville 캠퍼스는 15개월 동안 승인되지 않은 두 개의 수도 연결을 통해 2,900만 갤런을 끌어와 낮은 수압 불만을 야기했습니다. 카운티는 벌금을 면제하고, 소급하여 $147,000를 청구했습니다.
블룸버그 보도, AI 노출로 인한 미국 일자리 손실 증가 시작
블룸버그는 AI에 노출된 직종에서 미국의 일자리 손실이 심각하다고 보도했으며, Hacker News 토론에서는 개발자와 기타 지식 근로자에 대한 실제 영향을 지목하고 있습니다.
메타 오픈엔브 AI 해커톤 인도 개최, 직접 인터뷰 기회와 3만 달러 상금 풀 제공
메타가 허깅 페이스와 파이토치와 협력하여 인도 최초의 OpenEnv AI 해커톤을 개최합니다. 개발자들은 AI 에이전트를 위한 강화 학습 환경을 구축하게 됩니다. 상위 팀은 메타와 허깅 페이스 AI 팀과의 직접 인터뷰 기회와 함께 30,000달러의 상금 풀을 획득합니다.