TextGen (text-generation-webui) devient une application de bureau native avec des builds portables

TextGen (anciennement text-generation-webui, également connu sous le nom d'oobabooga) a publié une version native d'application de bureau. Le projet, en développement depuis décembre 2022, propose désormais des builds portables : il suffit de télécharger, décompresser et double-cliquer sur textgen. Aucune installation ni fichiers en dehors du dossier extrait. Tous les historiques de chat et paramètres se trouvent dans un dossier user_data intégré.

Fonctionnalités clés

• Confidentialité : Aucune requête sortante. Contrairement à LM Studio, il ne communique pas d'informations sur le système d'exploitation, le CPU, la version de l'application ou les choix de backend.
• Builds ik_llama.cpp : Inclut des types de quantisation personnalisés comme IQ4_KS et IQ5_KS pour une meilleure précision par rapport au llama.cpp standard utilisé par LM Studio et Ollama.
• Recherche web intégrée : Utilise la bibliothèque Python ddgs. Deux modes : appel d'outil avec l'outil web_search (fonctionne avec Qwen 3.6 et Gemma 4) ou une case à cocher qui récupère les résultats de recherche sous forme de pièces jointes texte.
• Appel d'outils : Prend en charge les outils Python mono-fichier (fonctions personnalisées faciles), les serveurs HTTP MCP et les serveurs stdio MCP. Option pour exiger confirmation approuver/refuser avant d'exécuter les appels d'outils. Guide ici.
• Personnages personnalisés : Créez des personnages pour des discussions décontractées en plus des conversations suivant des instructions.
• Compatibilité API : API conforme aux spécifications OpenAI et Anthropic. Fonctionne avec Claude Code : ANTHROPIC_BASE_URL=http://127.0.0.1:5000 claude.
• Extraction PDF : Utilise PyMuPDF pour une extraction précise du texte.
• Récupération de pages web : Utilise trafilatura pour supprimer la navigation/le contenu superflus, économisant des tokens dans les boucles agentiques.
• Modèles Jinja2 : Affiche les modèles de chat via Python Jinja2, évitant les plantages dans la réimplémentation Jinja en C++ de llama.cpp.

Builds disponibles

CUDA, Vulkan, CPU uniquement, Mac (Apple Silicon et Intel), et ROCm. Tous portables.

Licence : AGPLv3. Source : https://github.com/oobabooga/textgen