TextGen (text-generation-webui) torna-se aplicativo desktop nativo com versões portáteis

O TextGen (antigo text-generation-webui, também conhecido como oobabooga) lançou uma versão nativa para desktop. O projeto, em desenvolvimento desde dezembro de 2022, agora oferece versões portáteis — basta baixar, descompactar e clicar duas vezes em textgen. Sem instalação ou arquivos fora da pasta extraída. Todo o histórico de chats e configurações ficam em uma pasta user_data inclusa.

Principais Recursos

• Privacidade: Nenhuma requisição externa. Ao contrário do LM Studio, ele não envia informações sobre SO, CPU, versão do app ou backends escolhidos.
• Builds ik_llama.cpp: Inclui tipos de quantização personalizados como IQ4_KS e IQ5_KS para melhor precisão em comparação com o llama.cpp padrão usado pelo LM Studio e Ollama.
• Pesquisa web integrada: Usa a biblioteca Python ddgs. Dois modos: chamada de ferramenta com a ferramenta web_search (funciona com Qwen 3.6 e Gemma 4) ou uma caixa de seleção que busca resultados como anexos de texto.
• Chamada de ferramentas: Suporta ferramentas .py de arquivo único (funções personalizadas fáceis), servidores HTTP MCP e servidores stdio MCP. Opção de exigir confirmação de aprovação/rejeição antes de executar chamadas de ferramenta. Guia aqui.
• Personagens personalizados: Crie personagens para chats casuais junto com conversas de instrução.
• Compatibilidade de API: API compatível com as especificações OpenAI e Anthropic. Funciona com Claude Code: ANTHROPIC_BASE_URL=http://127.0.0.1:5000 claude.
• Extração de PDF: Usa PyMuPDF para extração precisa de texto.
• Busca de páginas web: Usa trafilatura para remover navegação/ conteúdo irrelevante, economizando tokens em loops agentes.
• Templates Jinja2: Renderiza templates de chat via Python Jinja2, evitando travamentos na reimplementação em C++ do jinja do llama.cpp.

Versões Disponíveis

CUDA, Vulkan, apenas CPU, Mac (Apple Silicon e Intel) e ROCm. Todas portáteis.

Licença: AGPLv3. Fonte: https://github.com/oobabooga/textgen