TextGen (text-generation-webui) становится нативным десктопным приложением с портативными сборками
TextGen (ранее text-generation-webui, также известный как oobabooga) выпустил нативную версию настольного приложения. Проект, разрабатываемый с декабря 2022 года, теперь предлагает портативные сборки — просто скачайте, распакуйте и дважды кликните textgen. Никакой установки или файлов за пределами извлеченной папки. Все истории чатов и настройки хранятся в встроенной папке user_data.
Ключевые особенности
- Приватность: Нулевые исходящие запросы. В отличие от LM Studio, он не отправляет данные об ОС, ЦП, версии приложения или выборе бэкенда.
- ik_llama.cpp сборки: Поставляется с пользовательскими типами квантования, такими как IQ4_KS и IQ5_KS, для лучшей точности по сравнению с ванильным llama.cpp, используемым в LM Studio и Ollama.
- Встроенный веб-поиск: Использует библиотеку Python
ddgs. Два режима: вызов инструмента с помощью инструментаweb_search(работает с Qwen 3.6 и Gemma 4) или флажок, который загружает результаты поиска как текстовые вложения. - Вызов инструментов: Поддерживает однофайловые .py инструменты (легкие пользовательские функции), HTTP MCP серверы и stdio MCP серверы. Опция требовать подтверждение (одобрить/отклонить) перед выполнением вызова инструмента. Руководство здесь.
- Пользовательские персонажи: Создавайте персонажей для неформальных чатов наряду с диалогами, следующими инструкциям.
- Совместимость с API: API, соответствующий спецификациям OpenAI и Anthropic. Работает с Claude Code:
ANTHROPIC_BASE_URL=http://127.0.0.1:5000 claude. - Извлечение PDF: Использует PyMuPDF для точного извлечения текста.
- Извлечение веб-страниц: Использует
trafilaturaдля удаления навигации и шаблонного кода, экономя токены в агентных циклах. - Шаблоны Jinja2: Обрабатывает шаблоны чатов с помощью Python Jinja2, избегая сбоев в реализации jinja на C++ в llama.cpp.
Доступные сборки
CUDA, Vulkan, только ЦП, Mac (Apple Silicon и Intel) и ROCm. Все портативные.
Лицензия: AGPLv3. Источник: https://github.com/oobabooga/textgen
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
devopsiphai: Открытый исходный код Claude Code проводит аудит операционного здоровья по 6 фазам.
devopsiphai — это открытый навык Claude Code, который проводит аудит операционной готовности производственных проектов, используя шестиэтапный процесс и ARC-фреймворк, выдавая буквенные оценки и структурированный TODO.md с задачами, оцененными по трудозатратам.
Навыки агента SwiftUI: Улучшение разработки интерфейсов с помощью ИИ
SwiftUI Agent Skill — это инструмент с открытым исходным кодом, который использует ИИ для улучшения разработки представлений SwiftUI, внедряя лучшие практики и оптимизации.
gui.new: Инструмент для Claude для отображения визуального вывода в виде доступных для общего доступа ссылок
gui.new — это инструмент, который позволяет Claude визуализировать вывод в виде живых ссылок для совместного использования, вместо возврата блоков кода. Он создан с помощью Claude, использует Next.js на Vercel с Supabase и не требует регистрации.
OctoArch v5.0: Среда выполнения B2B с нулевым доверием и ИИ-персонажами на основе JSON
OctoArch v5.0 — это когнитивная среда выполнения с нулевым доверием для B2B, созданная для строгих корпоративных сценариев использования, таких как извлечение данных из фискальных документов и счетов. Она заменяет текстовые промпты JSON-определяемыми персонами ИИ и реализует изоляцию путей для предотвращения атак на сервер.