Gemma4 26B-A4B обеспечивает быструю локальную работу с поддержкой веб-поиска и изображений.
Производительность и возможности Gemma4 26B-A4B
Модель gemma-4-26B-A4B демонстрирует высокую производительность для локального использования, при этом источник сообщает о скорости примерно 145 токенов в секунду при работе на видеокарте RTX 4090. Такое сочетание возможностей и скорости делает её подходящей для отзывчивых локальных приложений.
Ключевые особенности из источника
- Модель: gemma-4-26B-A4B
- Производительность: ~145 т/с (токенов в секунду) на RTX 4090
- Интеграция: Поддержка веб-поиска MCP (Model Context Protocol)
- Мультимодальность: Включена поддержка изображений
- Платформы: Настройка описана для использования на Mac и iPhone
В источнике упоминается, что опыт использования можно улучшить с помощью простых приёмов и короткого системного промпта, хотя конкретные детали этих оптимизаций не приводятся в отрывке. Автор задокументировал полный процесс настройки в блоге, который охватывает конфигурацию и использование на нескольких устройствах.
Для разработчиков, заинтересованных в реализации этой настройки, полные детали конфигурации, системные промпты и методы оптимизации доступны в упомянутом блоге по указанной ссылке.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Google Surf MCP: бесплатный MCP-сервис для поиска Google с поддержкой PDF и многоуровневым извлечением
Google Surf MCP — это бесплатный MCP-сервер для поиска в Google и извлечения URL-адресов, который работает с PDF и предлагает многоуровневый режим извлечения (аннотация/полный текст) для экономии токенов.
ClawProxy: Самостоятельно размещаемый прокси-маршрутизатор для ротации бесплатных API-ключей
ClawProxy — это самодостаточный прокси-маршрутизатор для ИИ, который управляет несколькими бесплатными ключами API ИИ, чтобы избежать ограничений по частоте запросов и перегрузки провайдеров. Он включает ротацию ключей на лету, взвешенную балансировку нагрузки, трансляцию моделей и панель управления с глубоко проанализированными логами.
Qwen 3.6 27B F16 проходит тест программирования Pacman, но 8-битные квантизации проваливаются — ключевые уроки по шаблонам и спекулятивному декодированию MTP
Пользователь с одного раза заставляет клон Pacman работать с Qwen 3.6 27B F16 — две из трех попыток дают почти идеальные игры. 8-битные квантизации полностью проваливаются. Подробные заметки о настройке шаблона чата и ускорении декодирования с MTP.
ClawPort: Открытая система оркестрации рабочих процессов ИИ-агентов с самовосстанавливающимся планировщиком Cron
ClawPort — это слой оркестрации с открытым исходным кодом для рабочих процессов AI-агентов, который автоматически настраивает cron-конвейеры, самовосстанавливается при сбоях и позволяет тестировать агентов напрямую перед их запуском по расписанию.