TextGen (text-generation-webui) devient une application de bureau native avec des builds portables
TextGen (anciennement text-generation-webui, également connu sous le nom d'oobabooga) a publié une version native d'application de bureau. Le projet, en développement depuis décembre 2022, propose désormais des builds portables : il suffit de télécharger, décompresser et double-cliquer sur textgen. Aucune installation ni fichiers en dehors du dossier extrait. Tous les historiques de chat et paramètres se trouvent dans un dossier user_data intégré.
Fonctionnalités clés
- Confidentialité : Aucune requête sortante. Contrairement à LM Studio, il ne communique pas d'informations sur le système d'exploitation, le CPU, la version de l'application ou les choix de backend.
- Builds ik_llama.cpp : Inclut des types de quantisation personnalisés comme IQ4_KS et IQ5_KS pour une meilleure précision par rapport au llama.cpp standard utilisé par LM Studio et Ollama.
- Recherche web intégrée : Utilise la bibliothèque Python
ddgs. Deux modes : appel d'outil avec l'outilweb_search(fonctionne avec Qwen 3.6 et Gemma 4) ou une case à cocher qui récupère les résultats de recherche sous forme de pièces jointes texte. - Appel d'outils : Prend en charge les outils Python mono-fichier (fonctions personnalisées faciles), les serveurs HTTP MCP et les serveurs stdio MCP. Option pour exiger confirmation approuver/refuser avant d'exécuter les appels d'outils. Guide ici.
- Personnages personnalisés : Créez des personnages pour des discussions décontractées en plus des conversations suivant des instructions.
- Compatibilité API : API conforme aux spécifications OpenAI et Anthropic. Fonctionne avec Claude Code :
ANTHROPIC_BASE_URL=http://127.0.0.1:5000 claude. - Extraction PDF : Utilise PyMuPDF pour une extraction précise du texte.
- Récupération de pages web : Utilise
trafilaturapour supprimer la navigation/le contenu superflus, économisant des tokens dans les boucles agentiques. - Modèles Jinja2 : Affiche les modèles de chat via Python Jinja2, évitant les plantages dans la réimplémentation Jinja en C++ de llama.cpp.
Builds disponibles
CUDA, Vulkan, CPU uniquement, Mac (Apple Silicon et Intel), et ROCm. Tous portables.
Licence : AGPLv3. Source : https://github.com/oobabooga/textgen
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
Claude Skill open-source structure les connaissances sur la croissance des SaaS B2B pour un raisonnement IA cohérent
Un développeur a créé une compétence Claude open-source qui organise les leçons de partenariats à 90 millions de dollars de revenus annuels récurrents, 1 800 entretiens utilisateurs et 5 études de cas SaaS en connaissances structurées pour que Claude puisse s'y référer, améliorant la qualité des réponses pour des flux de travail complexes comme la validation du PMF et la planification GTM.
CipherClaw : Utiliser un Personnage de Sécurité pour Auditer du Code avec Claude
Un développeur a utilisé CipherClaw, un persona CLAUDE.md appelé TALON, pour faire penser Claude Code comme un architecte de sécurité. Son exécution sur une application Next.js a révélé 17 problèmes de sécurité, dont des vulnérabilités critiques comme des points de terminaison non authentifiés renvoyant des données d'administrateur et des jetons d'authentification codés en dur.
Analyse Codeflash : 118 bogues de performance détectés dans deux PR rédigés avec Claude Code
Codeflash a mesuré les performances de deux fonctionnalités majeures développées avec Claude Code et a constaté que 118 fonctions fonctionnaient jusqu'à 446 fois plus lentement que nécessaire. L'analyse a révélé des schémas d'algorithmes inefficaces, de calculs redondants, d'absence de mise en cache et de structures de données sous-optimales.
Cloudflare Dynamic Worker Loader : Isolation des agents IA avec Isolates
L'API Dynamic Worker Loader de Cloudflare, désormais en bêta ouverte, permet aux Workers d'instancier de nouveaux Workers avec du code spécifié à l'exécution dans des sandbox isolés utilisant des isolats V8, offrant un démarrage 100 fois plus rapide que les conteneurs et aucune limite de concurrence globale.