TextGen: app de escritorio nativa con compilaciones portátiles

TextGen (anteriormente text-generation-webui, también conocido como oobabooga) ha lanzado una versión nativa de aplicación de escritorio. El proyecto, en desarrollo desde diciembre de 2022, ahora ofrece versiones portátiles: solo descarga, descomprime y haz doble clic en textgen. Sin instalación ni archivos fuera de la carpeta extraída. Todo el historial de chats y configuraciones residen en una carpeta user_data incluida.

Características principales

Privacidad: Cero solicitudes salientes. A diferencia de LM Studio, no envía información del sistema operativo, CPU, versión de la aplicación o selección de backend.
Compilaciones ik_llama.cpp: Incluye tipos de cuantización personalizados como IQ4_KS e IQ5_KS para mayor precisión en comparación con vanilla llama.cpp utilizado por LM Studio y Ollama.
Búsqueda web integrada: Utiliza la biblioteca Python ddgs. Dos modos: llamada a herramientas con la herramienta web_search (funciona con Qwen 3.6 y Gemma 4) o una casilla de verificación que obtiene resultados de búsqueda como archivos de texto adjuntos.
Llamada a herramientas: Soporta herramientas .py de un solo archivo (funciones personalizadas fáciles), servidores HTTP MCP y servidores stdio MCP. Opción para requerir aprobación/rechazo antes de ejecutar llamadas a herramientas. Guía aquí.
Personajes personalizados: Crea personajes para chats casuales junto con conversaciones de instrucciones.
Compatibilidad de API: API compatible con las especificaciones de OpenAI y Anthropic. Funciona con Claude Code: ANTHROPIC_BASE_URL=http://127.0.0.1:5000 claude.
Extracción de PDF: Utiliza PyMuPDF para una extracción precisa de texto.
Obtención de páginas web: Utiliza trafilatura para eliminar navegación y contenido superfluo, ahorrando tokens en bucles agentivos.
Plantillas Jinja2: Renderiza plantillas de chat mediante Python Jinja2, evitando fallos en la reimplementación de jinja en C++ de llama.cpp.