Lemonade von AMD: Open-Source-Lokaler-LLM-Server für GPU und NPU
Was Lemonade ist
Lemonade ist ein lokaler KI-Server, der von AMD und der lokalen KI-Community entwickelt wurde und Text-, Bild- und Sprachmodelle auf GPUs und NPUs ausführt. Er ist Open Source, auf Privatsphäre ausgelegt und soll in wenigen Minuten auf jedem PC einsatzbereit sein.
Wichtige Funktionen und Spezifikationen
- Natives C++-Backend: Leichtgewichtiger Dienst mit nur 2 MB
- Ein-Minuten-Installation: Einfacher Installer, der den Stack automatisch einrichtet
- OpenAI-API-kompatibel: Funktioniert mit Hunderten von Apps sofort und lässt sich in Minuten integrieren
- Automatische Hardware-Konfiguration: Konfiguriert Abhängigkeiten für Ihre GPU und NPU
- Multi-Engine-Kompatibilität: Funktioniert mit llama.cpp, Ryzen AI SW, FastFlowLM und mehr
- Mehrere Modelle gleichzeitig: Führen Sie mehr als ein Modell zur gleichen Zeit aus
- Plattformübergreifend: Einheitliches Erlebnis unter Windows, Linux und macOS (Beta)
- Integrierte App: Eine GUI, mit der Sie Modelle schnell herunterladen, testen und wechseln können
- Vereinheitlichte API: Ein lokaler Dienst für jede Modalität, einschließlich Chat, Vision, Bildgenerierung, Transkription und Sprachgenerierung
Modellunterstützung und Leistung
Der Server kann Modelle wie gpt-oss-120b oder Qwen-Coder-Next für erweiterte Werkzeugnutzung laden. Für das Tuning können Sie --no-mmap verwenden, um Ladezeiten zu beschleunigen und die Kontextgröße auf 64 oder mehr zu erhöhen. Die Quelle erwähnt, dass Sie mit 128 GB vereinheitlichtem RAM größere Modelle laden können.
Ökosystem-Integration
Lemonade ist in vielen Apps integriert und funktioniert dank des OpenAI-API-Standards sofort mit Hunderten weiteren. Genannte Integrationen umfassen Open WebUI, n8n, Gaia Infinity, Arcade, GitHub Copilot, OpenHands, Dify, Deep Tutor und Iterate.ai.
Community und Entwicklung
Das Projekt hat 2,1k Sterne auf GitHub und eine aktive Discord-Community mit 117 gleichzeitig Online zum Zeitpunkt der Quelle. Es wird als von der lokalen KI-Community für jeden PC entwickelt beschrieben, mit der Philosophie, dass lokale KI kostenlos, offen, schnell und privat sein sollte.
📖 Read the full source: HN LLM Tools
👀 Siehe auch
Claude Session Tracker: Claude-Code-Sitzungen automatisch in GitHub Issues speichern
Ein neues Tool namens claude-session-tracker speichert Claude-Code-Sitzungen automatisch in GitHub Issues und protokolliert jede Eingabeaufforderung und Antwort als Kommentare mit Zeitstempeln. Es erstellt ein GitHub Issue pro Sitzung, das mit einem Projects-Board verknüpft ist, und arbeitet über das native Hook-System von Claude Code, ohne Kontext-Tokens zu verbrauchen.
Lokale Buchübersetzungs-Pipeline nutzt Qwen 32B und Mistral 24B mit kontextuellem RAG
Ein Entwickler hat eine vollständig lokale, automatisierte Buchübersetzungs-Pipeline erstellt, die PDF-Dateien mit acht Python-Skripten in das ePub-Format konvertiert. Das System nutzt Marker für die PDF-Extraktion, Qwen 32B für die Übersetzung mit einem globalen Glossar und Mistral 24B für das Styling.
ViralCanvas.ai bietet einen persistenten Kontext-Arbeitsbereich für Claude-Modelle, einschließlich Sonnet 4.5.
ViralCanvas.ai ist ein visueller Arbeitsbereich, der auf den Modellen von Claude aufbaut und Zugang zu Sonnet 4.5, Sonnet 4.6, Opus 4.5 und Opus 4.6 mit dauerhafter Kontextanbindung bietet. Das Tool behebt Kontextverschlechterungen in langen Gesprächen, indem verbundene Dokumente bei jeder Eingabe aktiv gewichtet werden.
Lokales Terminal-CRM mit integriertem MCP-Server für Claude-Integration
Ein Entwickler hat ein persönliches CRM-System erstellt, das vollständig im Terminal läuft und Daten lokal in SQLite speichert. Es enthält einen integrierten MCP-Server, der Claude Zugriff auf 18 Tools zur Verwaltung von Kontakten, Deals und Nachverfolgungen bietet.