TextGen (text-generation-webui) становится нативным десктопным приложением с портативными сборками
TextGen (ранее text-generation-webui, также известный как oobabooga) выпустил нативную версию настольного приложения. Проект, разрабатываемый с декабря 2022 года, теперь предлагает портативные сборки — просто скачайте, распакуйте и дважды кликните textgen. Никакой установки или файлов за пределами извлеченной папки. Все истории чатов и настройки хранятся в встроенной папке user_data.
Ключевые особенности
- Приватность: Нулевые исходящие запросы. В отличие от LM Studio, он не отправляет данные об ОС, ЦП, версии приложения или выборе бэкенда.
- ik_llama.cpp сборки: Поставляется с пользовательскими типами квантования, такими как IQ4_KS и IQ5_KS, для лучшей точности по сравнению с ванильным llama.cpp, используемым в LM Studio и Ollama.
- Встроенный веб-поиск: Использует библиотеку Python
ddgs. Два режима: вызов инструмента с помощью инструментаweb_search(работает с Qwen 3.6 и Gemma 4) или флажок, который загружает результаты поиска как текстовые вложения. - Вызов инструментов: Поддерживает однофайловые .py инструменты (легкие пользовательские функции), HTTP MCP серверы и stdio MCP серверы. Опция требовать подтверждение (одобрить/отклонить) перед выполнением вызова инструмента. Руководство здесь.
- Пользовательские персонажи: Создавайте персонажей для неформальных чатов наряду с диалогами, следующими инструкциям.
- Совместимость с API: API, соответствующий спецификациям OpenAI и Anthropic. Работает с Claude Code:
ANTHROPIC_BASE_URL=http://127.0.0.1:5000 claude. - Извлечение PDF: Использует PyMuPDF для точного извлечения текста.
- Извлечение веб-страниц: Использует
trafilaturaдля удаления навигации и шаблонного кода, экономя токены в агентных циклах. - Шаблоны Jinja2: Обрабатывает шаблоны чатов с помощью Python Jinja2, избегая сбоев в реализации jinja на C++ в llama.cpp.
Доступные сборки
CUDA, Vulkan, только ЦП, Mac (Apple Silicon и Intel) и ROCm. Все портативные.
Лицензия: AGPLv3. Источник: https://github.com/oobabooga/textgen
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Tatu: Открытый слой безопасности для Claude, блокирующий секреты и деструктивные команды в блоках кода
Tatu — это система перехвата с открытым исходным кодом, которая в реальном времени перехватывает действия Claude Code, чтобы блокировать утечку секретов, помечать персональные данные и отклонять деструктивные команды до их выполнения. Установка осуществляется через pip/pipx командой 'tatu-hook init' для включения режима аудита.
Черный LLAB: Открытая архитектура для динамической маршрутизации моделей и докер-изолированных ИИ-агентов
Разработчик опубликовал в открытом доступе Black LLAB — систему, которая использует Mistral 3B для маршрутизации запросов между локальными и облачными моделями и запускает ИИ-агентов в изолированных контейнерах Docker с интеграцией OpenClaw.
Навык Claude Code создает скриншоты для App Store с использованием искусственного интеллекта Gemini.
Новый навык Claude Code под названием /aso-cosmicmeta-ss создаёт скриншоты для App Store и Google Play с помощью 6-этапного рабочего процесса, который анализирует код и использует Gemini AI для улучшения. Навык включает контрольный этап для выявления проблем с макетом перед использованием API-кредитов.
ViralCanvas.ai предоставляет постоянное контекстное рабочее пространство для моделей Claude, включая Sonnet 4.5.
ViralCanvas.ai — это визуальная рабочая среда, построенная поверх моделей Claude, предоставляющая доступ к Sonnet 4.5, Sonnet 4.6, Opus 4.5 и Opus 4.6 с постоянным прикреплением контекста. Инструмент решает проблему деградации контекста в длинных диалогах, постоянно удерживая связанные документы активными для каждого запроса.