TextGen (text-generation-webui) становится нативным десктопным приложением с портативными сборками
TextGen (ранее text-generation-webui, также известный как oobabooga) выпустил нативную версию настольного приложения. Проект, разрабатываемый с декабря 2022 года, теперь предлагает портативные сборки — просто скачайте, распакуйте и дважды кликните textgen. Никакой установки или файлов за пределами извлеченной папки. Все истории чатов и настройки хранятся в встроенной папке user_data.
Ключевые особенности
- Приватность: Нулевые исходящие запросы. В отличие от LM Studio, он не отправляет данные об ОС, ЦП, версии приложения или выборе бэкенда.
- ik_llama.cpp сборки: Поставляется с пользовательскими типами квантования, такими как IQ4_KS и IQ5_KS, для лучшей точности по сравнению с ванильным llama.cpp, используемым в LM Studio и Ollama.
- Встроенный веб-поиск: Использует библиотеку Python
ddgs. Два режима: вызов инструмента с помощью инструментаweb_search(работает с Qwen 3.6 и Gemma 4) или флажок, который загружает результаты поиска как текстовые вложения. - Вызов инструментов: Поддерживает однофайловые .py инструменты (легкие пользовательские функции), HTTP MCP серверы и stdio MCP серверы. Опция требовать подтверждение (одобрить/отклонить) перед выполнением вызова инструмента. Руководство здесь.
- Пользовательские персонажи: Создавайте персонажей для неформальных чатов наряду с диалогами, следующими инструкциям.
- Совместимость с API: API, соответствующий спецификациям OpenAI и Anthropic. Работает с Claude Code:
ANTHROPIC_BASE_URL=http://127.0.0.1:5000 claude. - Извлечение PDF: Использует PyMuPDF для точного извлечения текста.
- Извлечение веб-страниц: Использует
trafilaturaдля удаления навигации и шаблонного кода, экономя токены в агентных циклах. - Шаблоны Jinja2: Обрабатывает шаблоны чатов с помощью Python Jinja2, избегая сбоев в реализации jinja на C++ в llama.cpp.
Доступные сборки
CUDA, Vulkan, только ЦП, Mac (Apple Silicon и Intel) и ROCm. Все портативные.
Лицензия: AGPLv3. Источник: https://github.com/oobabooga/textgen
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Клод исправляет и отлаживает собственную ошибку в сервере файловой системы MCP, связанную с UNC-путями в Windows.
Разработчик использовал Claude Opus для диагностики и исправления ошибки в MCP Filesystem Server, где пути к сетевым ресурсам UNC в Windows не работали для операций с подкаталогами. Исправление решает проблему с проверкой путей, которая препятствовала доступу к файлам и папкам внутри сетевых ресурсов UNC.
Оркестра: Стоимостно-ориентированный слой маршрутизации LLM для OpenClaw сокращает затраты на API на 60-80%
Orkestra — это модульный слой маршрутизации, который располагается перед вызовами LLM в OpenClaw, используя семантическую классификацию для направления запросов к бюджетному, сбалансированному или премиум-уровню моделей. Этот подход снизил затраты на API на 60–80% без переписывания промптов или сложных правил.
Открытый исходный код агента навыков для шаблонов TypeScript, React и Next.js
Разработчик выпустил структурированное справочное руководство на языке Markdown объёмом 4000 строк в 17 файлах, предназначенное для ИИ-агентов, таких как Claude Code, чтобы они следовали ему при генерации или проверке кода на TypeScript, React и Next.js. Оно решает распространённые проблемы, такие как неправильная валидация ответов API и некорректное использование директив 'use client'.
Протокол Pilot: Сетевой уровень для агентов OpenClaw
Pilot Protocol — это открытый сетевой уровень, который обеспечивает связь между агентами OpenClaw на разных машинах. Он предоставляет постоянные виртуальные адреса, зашифрованные UDP-туннели и обход NAT без использования VPN или ngrok.