AMD Ryzen AI NPUs erhalten Linux-LLM-Unterstützung über Lemonade 10.0 und FastFlowLM
Was ist neu
AMD Ryzen AI NPUs können jetzt große Sprachmodelle auf Linux über den quelloffenen Lemonade-Server Version 10.0 ausführen, der Linux-NPU-Unterstützung für LLMs und Whisper enthält. Dies markiert die erste praktische Nutzung von Ryzen AI NPUs auf Linux über Nischencode hinaus.
Technische Details
Die Implementierung baut auf FastFlowLM 0.9.35 auf, einer NPU-optimierten Laufzeitumgebung, die exklusiv für Ryzen AI entwickelt wurde und Kontextlängen von bis zu 256k Token mit aktuellen Ryzen AI NPUs unterstützen kann. Lemonade 10.0 fügt außerdem native Integration mit Claude Code hinzu.
Systemanforderungen:
- Linux 7.0-Kernel ODER AMDXDNA-Treiber-Backports für bestehende stabile Kernel-Versionen
- FastFlowLM 0.9.35 Laufzeitumgebung
- Lemonade 10.0 Server
Diese Unterstützung sollte mit allen aktuellen AMD Ryzen AI 300/400 Series SoCs funktionieren. AMD hat den AMDXDNA-Beschleuniger-Treiber im Hauptentwicklungszweig des Linux-Kernels in den letzten zwei Jahren entwickelt, aber bis jetzt war die Unterstützung für Benutzeranwendungen extrem begrenzt.
Kontext
Zuvor nutzte AMDs eigene GAIA-Software auf Linux Vulkan mit iGPUs anstelle von NPU-Unterstützung. Der Zeitpunkt dieser Linux-Unterstützung ist bemerkenswert, da die Ryzen AI Embedded P100-Serie auf den Markt kommt und die Ryzen AI PRO 400-Serie, die voraussichtlich mehr Linux-Einsatz als Windows-Verbraucherinstallationen sehen wird.
Lemonade bietet Dokumentation für das Ausführen von LLMs auf Linux mit FastFlowLM und Lemonade.
📖 Read the full source: HN AI Agents
👀 Siehe auch
Claude-Code v2.1.38 Veröffentlichung: Wichtige Fehlerbehebungen und Verbesserungen
Die Veröffentlichung von Claude-Code v2.1.38 konzentriert sich darauf, mehrere Probleme aus früheren Versionen zu beheben und die Funktionalitäten zu verbessern, insbesondere für Entwickler, die dieses KI-Coding-Tool in VS Code integrieren.
Meta wird Mausbewegungen und Tastatureingaben von Mitarbeitern für KI-Training erfassen.
Meta plant laut einem Reuters-Bericht damit zu beginnen, Mausbewegungen und Tastatureingaben von Mitarbeitern für KI-Trainingsdaten zu erfassen. Der Artikel hat auf Hacker News mit 33 Punkten und 7 Kommentaren Diskussionen ausgelöst.
Claude stürmt an die Spitze der App Store-Charts trotz Regierungsstreit
Anthropics Claude-App ist von Platz 42 auf Platz 1 der meistheruntergeladenen Apps im US App Store gesprungen, wobei ChatGPT und Gemini den zweiten und dritten Platz belegen. Der Anstieg folgt auf eine öffentliche Auseinandersetzung zwischen Anthropic und der US-Regierung über den militärischen und Überwachungseinsatz von KI-Technologie.
KI-Ingenieure sind nicht sicher davor, durch KI ersetzt zu werden
Da Basismodelle wie Metas DINO universell einsetzbar werden, geraten spezialisierte KI-Ingenieurrollen unter Druck. Der Autor argumentiert, dass die meisten KI-Ingenieurjobs früher ersetzt werden als andere Entwicklerrollen.