Одностраничный интерфейс чат-бота для локального запуска Gemma 4 26B A4B
Разработчик создал одностраничный интерфейс чатбота, предназначенный для работы с локально запущенной моделью Gemma 4 26B A4B. Реализация подключается к API LM Studio и предоставляет полноценный интерфейс чатбота в одном HTML-файле.
Техническая реализация
Система запускает Gemma 4 26B A4B локально с контекстным окном 32K, достигая скорости 50-65 токенов в секунду. Модель распределена между двумя видеокартами: 7900 XT и 3060 Ti.
Функции интерфейса
- Полная поддержка потоковой передачи для ответов в реальном времени
- Рендеринг Markdown для форматированного вывода
- Выбор модели для переключения между доступными моделями
- Шесть ползунков параметров для тонкой настройки поведения модели
- Редактирование сообщений с возможностью ветвления истории
- Функция повторной генерации для пересоздания ответов
- Кнопка прерывания для остановки генерации в процессе
- Поддержка системных промптов для пользовательских инструкций
Детали разработки
Разработчик отмечает, что для исправления двух ошибок DOM, которые не смогла решить Gemma, использовался Claude. Вся остальная разработка была выполнена с использованием Gemma 4. Проект доступен на GitHub для изучения и использования.
Такой одностраничный интерфейс особенно полезен для разработчиков, работающих с локальными языковыми моделями, которые хотят получить лёгкий, настраиваемый интерфейс чата без сложностей полноценных веб-приложений. Интеграция с API LM Studio делает его совместимым с различными локальными моделями, а не только с Gemma.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Claude Code Незадокументированные возможности: Хуки, Память, Классификатор YOLO и другое
Исходный код Claude Code раскрывает скрытые конфиги: YOLO Classifier для автоматического разрешения, хуки, переписывающие команды на лету, постоянная память агента, правила автоматического режима на простом английском и циклы самообучения.
Плагин Claude Code запускает DOOM в терминале, пока ИИ размышляет
Разработчик создал плагин Claude Code, который отображает DOOM в виде всплывающего оверлея tmux во время обработки ИИ. Плагин использует doom-ascii, терминальный порт исходного кода DOOM, и автоматически запускается/закрывается при запросах.
PeaDB: Совместимая с Redis база данных, написанная на C++20 с помощью ИИ-ассистентов
Разработчик создал PeaDB — замену Redis 7.2.5, написанную на C++20 с использованием Codex, Copilot и Claude, реализующую около 147 команд с поддержкой сохранения данных, репликации и кластеризации. Бенчмарки показывают производительность, близкую к Redis.
Как переместить или переименовать папки проекта Claude Code без потери истории сессий
Claude Code хранит историю сессий, используя абсолютные пути к проектам, поэтому перемещение или переименование папок с помощью команды mv нарушает доступ к сессиям. Инструмент clamp исправляет это, перенося данные сессий в соответствии с новыми путями.