TextGen (text-generation-webui) становится нативным десктопным приложением с портативными сборками

TextGen (ранее text-generation-webui, также известный как oobabooga) выпустил нативную версию настольного приложения. Проект, разрабатываемый с декабря 2022 года, теперь предлагает портативные сборки — просто скачайте, распакуйте и дважды кликните textgen. Никакой установки или файлов за пределами извлеченной папки. Все истории чатов и настройки хранятся в встроенной папке user_data.

Ключевые особенности

• Приватность: Нулевые исходящие запросы. В отличие от LM Studio, он не отправляет данные об ОС, ЦП, версии приложения или выборе бэкенда.
• ik_llama.cpp сборки: Поставляется с пользовательскими типами квантования, такими как IQ4_KS и IQ5_KS, для лучшей точности по сравнению с ванильным llama.cpp, используемым в LM Studio и Ollama.
• Встроенный веб-поиск: Использует библиотеку Python ddgs. Два режима: вызов инструмента с помощью инструмента web_search (работает с Qwen 3.6 и Gemma 4) или флажок, который загружает результаты поиска как текстовые вложения.
• Вызов инструментов: Поддерживает однофайловые .py инструменты (легкие пользовательские функции), HTTP MCP серверы и stdio MCP серверы. Опция требовать подтверждение (одобрить/отклонить) перед выполнением вызова инструмента. Руководство здесь.
• Пользовательские персонажи: Создавайте персонажей для неформальных чатов наряду с диалогами, следующими инструкциям.
• Совместимость с API: API, соответствующий спецификациям OpenAI и Anthropic. Работает с Claude Code: ANTHROPIC_BASE_URL=http://127.0.0.1:5000 claude.
• Извлечение PDF: Использует PyMuPDF для точного извлечения текста.
• Извлечение веб-страниц: Использует trafilatura для удаления навигации и шаблонного кода, экономя токены в агентных циклах.
• Шаблоны Jinja2: Обрабатывает шаблоны чатов с помощью Python Jinja2, избегая сбоев в реализации jinja на C++ в llama.cpp.

Доступные сборки

CUDA, Vulkan, только ЦП, Mac (Apple Silicon и Intel) и ROCm. Все портативные.

Лицензия: AGPLv3. Источник: https://github.com/oobabooga/textgen