Одностраничный интерфейс чат-бота для локального запуска Gemma 4 26B A4B
Разработчик создал одностраничный интерфейс чатбота, предназначенный для работы с локально запущенной моделью Gemma 4 26B A4B. Реализация подключается к API LM Studio и предоставляет полноценный интерфейс чатбота в одном HTML-файле.
Техническая реализация
Система запускает Gemma 4 26B A4B локально с контекстным окном 32K, достигая скорости 50-65 токенов в секунду. Модель распределена между двумя видеокартами: 7900 XT и 3060 Ti.
Функции интерфейса
- Полная поддержка потоковой передачи для ответов в реальном времени
- Рендеринг Markdown для форматированного вывода
- Выбор модели для переключения между доступными моделями
- Шесть ползунков параметров для тонкой настройки поведения модели
- Редактирование сообщений с возможностью ветвления истории
- Функция повторной генерации для пересоздания ответов
- Кнопка прерывания для остановки генерации в процессе
- Поддержка системных промптов для пользовательских инструкций
Детали разработки
Разработчик отмечает, что для исправления двух ошибок DOM, которые не смогла решить Gemma, использовался Claude. Вся остальная разработка была выполнена с использованием Gemma 4. Проект доступен на GitHub для изучения и использования.
Такой одностраничный интерфейс особенно полезен для разработчиков, работающих с локальными языковыми моделями, которые хотят получить лёгкий, настраиваемый интерфейс чата без сложностей полноценных веб-приложений. Интеграция с API LM Studio делает его совместимым с различными локальными моделями, а не только с Gemma.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Стокейд: Новый инструмент оркестрации для Claude Code с поддержкой каналов и уровнями безопасности
Stockade — это инструмент оркестрации, созданный на основе Agent SDK от Anthropic, который предоставляет управление сессиями на основе каналов, RBAC и детализированные разрешения для ИИ-агентов. Он устраняет ограничения OpenClaw и NanoClaw, предлагая больше контроля при сохранении безопасности через контейнеризацию и прокси учетных данных.
Два навыка Claude Code для управления конфигурацией CLAUDE.md
Разработчик создал два навыка Claude Code для работы с конфигурацией CLAUDE.md: /cc-init создаёт лаконичные конфиги для новых проектов, а /cc-optimize анализирует существующие проекты на наличие избыточности и проблем. Оба инструмента направлены на снижение контекстной нагрузки и улучшение следования инструкциям.
skill-depot: Локальная система памяти и навыков для AI-агентов, совместимых с MCP
skill-depot — это система поиска, которая хранит знания агента в виде файлов Markdown и использует векторные эмбеддинги для семантического поиска и выборочной загрузки только релевантного контента. Она работает полностью локально без API-ключей, совместима с любыми агентами, поддерживающими MCP, и может быть настроена с помощью npx skill-depot init.
Прекратите переучивать Claude Code на каждой сессии: используйте постоянную конфигурацию
Пользователь Reddit объясняет, как он сэкономил 20 минут на сессию, написав постоянный конфиг для Claude Code, избавившись от повторяющихся указаний и добившись выполнения задач на 33% быстрее.