TextGen (text-generation-webui) devient une application de bureau native avec des builds portables
TextGen (anciennement text-generation-webui, également connu sous le nom d'oobabooga) a publié une version native d'application de bureau. Le projet, en développement depuis décembre 2022, propose désormais des builds portables : il suffit de télécharger, décompresser et double-cliquer sur textgen. Aucune installation ni fichiers en dehors du dossier extrait. Tous les historiques de chat et paramètres se trouvent dans un dossier user_data intégré.
Fonctionnalités clés
- Confidentialité : Aucune requête sortante. Contrairement à LM Studio, il ne communique pas d'informations sur le système d'exploitation, le CPU, la version de l'application ou les choix de backend.
- Builds ik_llama.cpp : Inclut des types de quantisation personnalisés comme IQ4_KS et IQ5_KS pour une meilleure précision par rapport au llama.cpp standard utilisé par LM Studio et Ollama.
- Recherche web intégrée : Utilise la bibliothèque Python
ddgs. Deux modes : appel d'outil avec l'outilweb_search(fonctionne avec Qwen 3.6 et Gemma 4) ou une case à cocher qui récupère les résultats de recherche sous forme de pièces jointes texte. - Appel d'outils : Prend en charge les outils Python mono-fichier (fonctions personnalisées faciles), les serveurs HTTP MCP et les serveurs stdio MCP. Option pour exiger confirmation approuver/refuser avant d'exécuter les appels d'outils. Guide ici.
- Personnages personnalisés : Créez des personnages pour des discussions décontractées en plus des conversations suivant des instructions.
- Compatibilité API : API conforme aux spécifications OpenAI et Anthropic. Fonctionne avec Claude Code :
ANTHROPIC_BASE_URL=http://127.0.0.1:5000 claude. - Extraction PDF : Utilise PyMuPDF pour une extraction précise du texte.
- Récupération de pages web : Utilise
trafilaturapour supprimer la navigation/le contenu superflus, économisant des tokens dans les boucles agentiques. - Modèles Jinja2 : Affiche les modèles de chat via Python Jinja2, évitant les plantages dans la réimplémentation Jinja en C++ de llama.cpp.
Builds disponibles
CUDA, Vulkan, CPU uniquement, Mac (Apple Silicon et Intel), et ROCm. Tous portables.
Licence : AGPLv3. Source : https://github.com/oobabooga/textgen
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
GoModel : Une passerelle d'IA légère et open-source écrite en Go
GoModel est une passerelle IA open-source qui fournit une API unifiée compatible OpenAI pour plusieurs fournisseurs, notamment OpenAI, Anthropic, Gemini, Groq, xAI et Ollama. Il propose une image Docker de 17 Mo, 44 fois plus légère que LiteLLM, avec une configuration priorisant les variables d'environnement et une observabilité intégrée.
Cadre de Prompt Visuel Remplace les Prompts Textuels par une Image Unique pour Claude AI
Le Principe de Capacité de Charge v9 est un cadre structurel bidirectionnel qui utilise une seule image de diagramme de flux au lieu d'invites textuelles pour Claude IA. Il fournit un diagnostic structurel ou des plans de construction génératifs basés sur les paramètres du système ou les objectifs.
Auto-optimisation : Un plugin Claude Code pour l'optimisation autonome des performances
Un développeur a créé auto-optimize, un plugin Claude Code qui exécute de manière autonome des boucles profil → plan → benchmark pour optimiser les performances du code. Dans un test, il a obtenu une table de hachage 27 % plus rapide dans tous les scénarios de benchmark en environ 3 heures.
SkyClaw : Runtime d'agent IA autonome basé sur Rust
SkyClaw est un runtime d'agent IA autonome construit en Rust avec un binaire de 7,1 Mo qui consomme 14 Mo de RAM au repos et démarre en moins d'une seconde. Il fonctionne selon cinq principes d'ingénierie incluant l'autonomie, la robustesse et une efficacité brutale.