TextGen (text-generation-webui) wird native Desktop-App mit portablen Builds
TextGen (früher text-generation-webui, auch bekannt als oobabooga) hat eine native Desktop-App-Version veröffentlicht. Das Projekt, das seit Dezember 2022 in Entwicklung ist, bietet nun portable Builds – einfach herunterladen, entpacken und doppelklicken Sie auf textgen. Keine Installation oder Dateien außerhalb des entpackten Ordners. Alle Chatverläufe und Einstellungen befinden sich in einem gebündelten user_data-Ordner.
Hauptfunktionen
- Privatsphäre: Null ausgehende Anfragen. Im Gegensatz zu LM Studio sendet es keine Daten zu Betriebssystem, CPU, App-Version oder Backend-Auswahl nach Hause.
- ik_llama.cpp-Builds: Enthält benutzerdefinierte Quantisierungstypen wie IQ4_KS und IQ5_KS für bessere Genauigkeit im Vergleich zu vanilla llama.cpp, das von LM Studio und Ollama verwendet wird.
- Integrierte Websuche: Verwendet die
ddgs-Python-Bibliothek. Zwei Modi: Tool-Calling mit demweb_search-Tool (funktioniert mit Qwen 3.6 und Gemma 4) oder ein Kontrollkästchen, das Suchergebnisse als Textanhänge abruft. - Tool-Calling: Unterstützt Single-File-.py-Tools (einfache benutzerdefinierte Funktionen), HTTP-MCP-Server und stdio-MCP-Server. Option zur Bestätigung/Ablehnung vor der Ausführung von Tool-Aufrufen. Anleitung hier.
- Benutzerdefinierte Charaktere: Erstellen Sie Charaktere für lockere Chats neben Anweisungsgesprächen.
- API-Kompatibilität: OpenAI- und Anthropic-Spec-konforme API. Funktioniert mit Claude Code:
ANTHROPIC_BASE_URL=http://127.0.0.1:5000 claude. - PDF-Extraktion: Verwendet PyMuPDF für genaue Textextraktion.
- Webseiten-Abruf: Verwendet
trafilatura, um Navigation/Textblöcke zu entfernen und Token in agentischen Schleifen zu sparen. - Jinja2-Vorlagen: Rendert Chatvorlagen über Python Jinja2 und vermeidet Abstürze in llama.cpps C++-Jinja-Neuimplementierung.
Verfügbare Builds
CUDA, Vulkan, Nur-CPU, Mac (Apple Silicon und Intel) und ROCm. Alle portabel.
Lizenz: AGPLv3. Quelle: https://github.com/oobabooga/textgen
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Claude Counter: Android-App verfolgt Claude-Nutzungslimits mit Echtzeit-Benachrichtigungen
Ein Entwickler hat Claude Counter erstellt, eine kostenlose Android-App, die die API von Claude abfragt, um Live-Sitzungs- und wöchentliche Nutzungslimits anzuzeigen. Die App zeigt Fortschrittsbalken, bietet umfangreiche Benachrichtigungen mit verbleibenden Prozentsätzen und warnt, wenn Limits zurückgesetzt werden.
Benutzerdefinierte Statuszeile für Claude Code zeigt Kontextnutzung, Ratenbegrenzungen und Token-Anzahl auf einen Blick
Ein benutzerdefiniertes Skript fügt Claude Code eine dauerhafte Statuszeile hinzu, die Kontext %, 5-Stunden-Ratenlimit %, KV-Cache-Lesevorgänge, kumulative Eingabe-/Ausgabe-Token, Modellname und Arbeitsverzeichnis anzeigt – farbcodiert für dunkle Terminals.
Tendr Skill: Deterministische CLI-Operationen für die Agentenspeicherverwaltung
Tendr Skill ist eine Agent Skill, die das Denken von der Ausführung trennt, um strukturiertes Langzeitgedächtnis zu ermöglichen. Sie erlaubt es Agenten zu entscheiden, was geändert werden muss, während ein CLI-Tool die strukturellen Operationen deterministisch ausführt. Sie unterstützt [[wikilinks]] und explizite semantische Hierarchien über Dateien hinweg.
Apideck CLI: Eine Low-Context-Alternative zu MCP für KI-Agenten
Apideck CLI ist eine KI-Agent-Schnittstelle, die etwa 80 Tokens für ihren Agenten-Prompt verwendet, anstatt Zehntausende für Werkzeugschemata, und adressiert damit das Kontextfenster-Verbrauchsproblem von MCP. Benchmarks zeigen, dass MCP für identische Operationen 4- bis 32-mal mehr Tokens kosten kann als die CLI.