Одностраничный интерфейс чат-бота для локального запуска Gemma 4 26B A4B
Разработчик создал одностраничный интерфейс чатбота, предназначенный для работы с локально запущенной моделью Gemma 4 26B A4B. Реализация подключается к API LM Studio и предоставляет полноценный интерфейс чатбота в одном HTML-файле.
Техническая реализация
Система запускает Gemma 4 26B A4B локально с контекстным окном 32K, достигая скорости 50-65 токенов в секунду. Модель распределена между двумя видеокартами: 7900 XT и 3060 Ti.
Функции интерфейса
- Полная поддержка потоковой передачи для ответов в реальном времени
- Рендеринг Markdown для форматированного вывода
- Выбор модели для переключения между доступными моделями
- Шесть ползунков параметров для тонкой настройки поведения модели
- Редактирование сообщений с возможностью ветвления истории
- Функция повторной генерации для пересоздания ответов
- Кнопка прерывания для остановки генерации в процессе
- Поддержка системных промптов для пользовательских инструкций
Детали разработки
Разработчик отмечает, что для исправления двух ошибок DOM, которые не смогла решить Gemma, использовался Claude. Вся остальная разработка была выполнена с использованием Gemma 4. Проект доступен на GitHub для изучения и использования.
Такой одностраничный интерфейс особенно полезен для разработчиков, работающих с локальными языковыми моделями, которые хотят получить лёгкий, настраиваемый интерфейс чата без сложностей полноценных веб-приложений. Интеграция с API LM Studio делает его совместимым с различными локальными моделями, а не только с Gemma.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Инструментарий для путешествий: навыки ИИ и серверы MCP для поиска баллов и миль
Репозиторий на GitHub предоставляет 7 навыков в формате markdown и 6 MCP-серверов, которые обучают Claude Code и OpenCode искать авиабилеты за мили в более чем 25 программах лояльности, сравнивать цены за наличные, получать информацию о балансах бонусных счетов, а также находить отели и паромы. Для настройки требуется клонировать репозиторий и запустить setup.sh.
First-Tree: Open-Source Daemon, использующий Claude Code для сортировки уведомлений GitHub, пока вы спите
Демон панели меню с открытым исходным кодом, использующий Claude Code для автономной сортировки уведомлений GitHub – за последнее сканирование он обработал 98 из 100 уведомлений, оставив лишь 2 для проверки человеком.
AIDA: Открытая платформа для пентестинга на основе искусственного интеллекта
AIDA — это платформа с открытым исходным кодом, которая предоставляет ИИ-агентам полноценную среду для тестирования на проникновение через MCP-подключение к Docker-контейнеру. Последняя версия заменяет требование в 40 ГБ для Exegol на специально собранный контейнер объёмом 1 ГБ, содержащий основные инструменты безопасности.
OpenMontage: Открытая система агентного видеопроизводства для ИИ-ассистентов программирования
OpenMontage — это система видеопроизводства с открытым исходным кодом, которая превращает ИИ-ассистентов для программирования, такие как Claude Code, в полноценные производственные студии. Она обрабатывает исследование, планирование сцен, написание сценария, озвучку, подбор музыки, генерацию субтитров и проверку через автоматизированные конвейеры.