TextGen (text-generation-webui) wird native Desktop-App mit portablen Builds
TextGen (früher text-generation-webui, auch bekannt als oobabooga) hat eine native Desktop-App-Version veröffentlicht. Das Projekt, das seit Dezember 2022 in Entwicklung ist, bietet nun portable Builds – einfach herunterladen, entpacken und doppelklicken Sie auf textgen. Keine Installation oder Dateien außerhalb des entpackten Ordners. Alle Chatverläufe und Einstellungen befinden sich in einem gebündelten user_data-Ordner.
Hauptfunktionen
- Privatsphäre: Null ausgehende Anfragen. Im Gegensatz zu LM Studio sendet es keine Daten zu Betriebssystem, CPU, App-Version oder Backend-Auswahl nach Hause.
- ik_llama.cpp-Builds: Enthält benutzerdefinierte Quantisierungstypen wie IQ4_KS und IQ5_KS für bessere Genauigkeit im Vergleich zu vanilla llama.cpp, das von LM Studio und Ollama verwendet wird.
- Integrierte Websuche: Verwendet die
ddgs-Python-Bibliothek. Zwei Modi: Tool-Calling mit demweb_search-Tool (funktioniert mit Qwen 3.6 und Gemma 4) oder ein Kontrollkästchen, das Suchergebnisse als Textanhänge abruft. - Tool-Calling: Unterstützt Single-File-.py-Tools (einfache benutzerdefinierte Funktionen), HTTP-MCP-Server und stdio-MCP-Server. Option zur Bestätigung/Ablehnung vor der Ausführung von Tool-Aufrufen. Anleitung hier.
- Benutzerdefinierte Charaktere: Erstellen Sie Charaktere für lockere Chats neben Anweisungsgesprächen.
- API-Kompatibilität: OpenAI- und Anthropic-Spec-konforme API. Funktioniert mit Claude Code:
ANTHROPIC_BASE_URL=http://127.0.0.1:5000 claude. - PDF-Extraktion: Verwendet PyMuPDF für genaue Textextraktion.
- Webseiten-Abruf: Verwendet
trafilatura, um Navigation/Textblöcke zu entfernen und Token in agentischen Schleifen zu sparen. - Jinja2-Vorlagen: Rendert Chatvorlagen über Python Jinja2 und vermeidet Abstürze in llama.cpps C++-Jinja-Neuimplementierung.
Verfügbare Builds
CUDA, Vulkan, Nur-CPU, Mac (Apple Silicon und Intel) und ROCm. Alle portabel.
Lizenz: AGPLv3. Quelle: https://github.com/oobabooga/textgen
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Miasma: Ein Werkzeug, um KI-Webscraper mit vergifteten Daten zu fangen
Miasma ist ein Server-Tool, das vergiftete Trainingsdaten und selbstreferenzielle Links an KI-Webscraper sendet und so eine Endlosschleife erzeugt. Es läuft mit minimalem Speicherverbrauch und kann über CLI-Optionen wie Port, Host und Link-Präfix konfiguriert werden.
Savant Commander 48B: Ein benutzerdefiniertes Qwen 3 Mixture-of-Experts-Modell mit 12 destillierten Modellen
Savant Commander 48B ist ein benutzerdefiniertes Qwen 3 Mixture-of-Experts-Modell mit handkodiertem Routing, das 12 destillierte Modelle von Anbietern wie Claude, Gemini, OpenAI und Deepseek kombiniert. Es verfügt über eine Kontextlänge von 256K und ermöglicht die promptgesteuerte Aktivierung spezifischer destillierter Modelle.
Argus: Eine GitHub-App, die CLAUDE.md-Dateien überprüft und Bewertungen in PRs veröffentlicht
Argus ist eine GitHub-App, die mit Claude Code entwickelt wurde und CLAUDE.md-Dateien überprüft und bei jedem Pull Request eine Bewertung veröffentlicht. Nach Tests an mehreren Repositories sind die häufigsten Fehler fehlende explizite Grenzen des Anwendungsbereichs und Eskalationspfade.
Queuelo: Eine schlanke Genehmigungs-API für LLM-Agenten
Queuelo ist eine einfache API-Schicht, die es LLM-Agenten ermöglicht, vor irreversiblen Aktionen zu pausieren. Agenten senden POST-Anfragen für Aktionen, Sie werden benachrichtigt, um diese zu genehmigen oder abzulehnen, und der Agent erhält die Antwort per Webhook.