Lemonade von AMD: Open-Source-Lokaler-LLM-Server für GPU und NPU
Was Lemonade ist
Lemonade ist ein lokaler KI-Server, der von AMD und der lokalen KI-Community entwickelt wurde und Text-, Bild- und Sprachmodelle auf GPUs und NPUs ausführt. Er ist Open Source, auf Privatsphäre ausgelegt und soll in wenigen Minuten auf jedem PC einsatzbereit sein.
Wichtige Funktionen und Spezifikationen
- Natives C++-Backend: Leichtgewichtiger Dienst mit nur 2 MB
- Ein-Minuten-Installation: Einfacher Installer, der den Stack automatisch einrichtet
- OpenAI-API-kompatibel: Funktioniert mit Hunderten von Apps sofort und lässt sich in Minuten integrieren
- Automatische Hardware-Konfiguration: Konfiguriert Abhängigkeiten für Ihre GPU und NPU
- Multi-Engine-Kompatibilität: Funktioniert mit llama.cpp, Ryzen AI SW, FastFlowLM und mehr
- Mehrere Modelle gleichzeitig: Führen Sie mehr als ein Modell zur gleichen Zeit aus
- Plattformübergreifend: Einheitliches Erlebnis unter Windows, Linux und macOS (Beta)
- Integrierte App: Eine GUI, mit der Sie Modelle schnell herunterladen, testen und wechseln können
- Vereinheitlichte API: Ein lokaler Dienst für jede Modalität, einschließlich Chat, Vision, Bildgenerierung, Transkription und Sprachgenerierung
Modellunterstützung und Leistung
Der Server kann Modelle wie gpt-oss-120b oder Qwen-Coder-Next für erweiterte Werkzeugnutzung laden. Für das Tuning können Sie --no-mmap verwenden, um Ladezeiten zu beschleunigen und die Kontextgröße auf 64 oder mehr zu erhöhen. Die Quelle erwähnt, dass Sie mit 128 GB vereinheitlichtem RAM größere Modelle laden können.
Ökosystem-Integration
Lemonade ist in vielen Apps integriert und funktioniert dank des OpenAI-API-Standards sofort mit Hunderten weiteren. Genannte Integrationen umfassen Open WebUI, n8n, Gaia Infinity, Arcade, GitHub Copilot, OpenHands, Dify, Deep Tutor und Iterate.ai.
Community und Entwicklung
Das Projekt hat 2,1k Sterne auf GitHub und eine aktive Discord-Community mit 117 gleichzeitig Online zum Zeitpunkt der Quelle. Es wird als von der lokalen KI-Community für jeden PC entwickelt beschrieben, mit der Philosophie, dass lokale KI kostenlos, offen, schnell und privat sein sollte.
📖 Read the full source: HN LLM Tools
👀 Siehe auch
Claude Auto-Continue: Chrome-Erweiterung automatisiert Unterbrechungen durch das Tool-Use-Limit
Ein Entwickler hat eine kostenlose Chrome-Erweiterung erstellt, die automatisch auf 'Weiter' klickt, wenn Claude nach etwa 20 Werkzeugaufrufen sein Nutzungslimit erreicht, und so manuelle Unterbrechungen in agentenbasierten Arbeitsabläufen eliminiert. Die Erweiterung enthält eine optionale Token-Minimierung und funktioniert über alle Tabs und Fenster hinweg.
Benchmarking von Nemotron 3 Super 120B mit 1M Token-Kontext auf M1 Ultra
Ein Nutzer testete Nemotron 3 Super 120B mit einem Q4_K_M quantisierten Modell unter Verwendung von llama.cpp auf einem M1 Ultra und erreichte ein Kontextfenster von 1 Million Token, das etwa 90 GB VRAM verbrauchte. Leistungsbenchmarks zeigen Token-Generierungsgeschwindigkeiten von 255 t/s bei 512 Token Prompt-Verarbeitung bis hinab zu 22,37 t/s bei einem Kontext von 100.000 Token.
Kelet: Automatisierte Root-Cause-Analyse für KI-Agenten
Kelet ist ein Dienst, der automatisch Fehler von KI-Agenten in der Produktion analysiert, indem er Traces und Signale clustert, um Ursachen zu identifizieren und Lösungen vorzuschlagen. Er lässt sich über Python-/TypeScript-SDKs oder eine Installer-Skill integrieren und ist während der Beta-Phase derzeit kostenlos.
Clawdbot entfesselt neue Funktionen mit dem Pro-Abonnement.
Clawdbot führt ein 'Pro'-Abonnement ein, das erweiterte Funktionen für Benutzer bietet, die das Potenzial der Automatisierung in Programmierumgebungen maximieren möchten. Entdecken Sie die neuesten Funktionen und Community-Einsichten von r/clawdbot.