TextGen (text-generation-webui) se convierte en aplicación de escritorio nativa con compilaciones portátiles

TextGen (anteriormente text-generation-webui, también conocido como oobabooga) ha lanzado una versión nativa de aplicación de escritorio. El proyecto, en desarrollo desde diciembre de 2022, ahora ofrece versiones portátiles: solo descarga, descomprime y haz doble clic en textgen. Sin instalación ni archivos fuera de la carpeta extraída. Todo el historial de chats y configuraciones residen en una carpeta user_data incluida.

Características principales

• Privacidad: Cero solicitudes salientes. A diferencia de LM Studio, no envía información del sistema operativo, CPU, versión de la aplicación o selección de backend.
• Compilaciones ik_llama.cpp: Incluye tipos de cuantización personalizados como IQ4_KS e IQ5_KS para mayor precisión en comparación con vanilla llama.cpp utilizado por LM Studio y Ollama.
• Búsqueda web integrada: Utiliza la biblioteca Python ddgs. Dos modos: llamada a herramientas con la herramienta web_search (funciona con Qwen 3.6 y Gemma 4) o una casilla de verificación que obtiene resultados de búsqueda como archivos de texto adjuntos.
• Llamada a herramientas: Soporta herramientas .py de un solo archivo (funciones personalizadas fáciles), servidores HTTP MCP y servidores stdio MCP. Opción para requerir aprobación/rechazo antes de ejecutar llamadas a herramientas. Guía aquí.
• Personajes personalizados: Crea personajes para chats casuales junto con conversaciones de instrucciones.
• Compatibilidad de API: API compatible con las especificaciones de OpenAI y Anthropic. Funciona con Claude Code: ANTHROPIC_BASE_URL=http://127.0.0.1:5000 claude.
• Extracción de PDF: Utiliza PyMuPDF para una extracción precisa de texto.
• Obtención de páginas web: Utiliza trafilatura para eliminar navegación y contenido superfluo, ahorrando tokens en bucles agentivos.
• Plantillas Jinja2: Renderiza plantillas de chat mediante Python Jinja2, evitando fallos en la reimplementación de jinja en C++ de llama.cpp.

Versiones disponibles

CUDA, Vulkan, solo CPU, Mac (Apple Silicon e Intel) y ROCm. Todas portátiles.

Licencia: AGPLv3. Fuente: https://github.com/oobabooga/textgen