mistral.rs теперь поддерживает Gemma 4 12B с мультимодальными, агентными функциями и Multi-Turn Prediction (MTP). Релиз включает веб-поиск и выполнение кода в изолированной среде для создания агентных приложений, а также ввод аудио, изображений и видео.

Установка

Установка в одну строку для Linux/macOS и Windows:

# Linux/macOS
curl --proto '=https' --tlsv1.2 -sSf https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.sh | sh

Windows
irm https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.ps1 | iex

Запуск с агентом и квантизацией

Запустите HTTP-сервер, совместимый с OpenAI и Anthropic, с встроенным веб-интерфейсом на localhost:1234/ui:

mistralrs run --agent -m google/gemma-4-12B-it --quant 4

Включение MTP (Multi-Turn Prediction)

Чтобы использовать MTP, добавьте флаг --mtp-model с моделью ассистента:

mistralrs run --agent -m google/gemma-4-12B-it --quant 4 --mtp-model google/gemma-4-12B-it-assistant

Ключевые особенности

• Полная мультимодальная поддержка: аудио, изображения и видео
• Веб-поиск и выполнение кода в изолированной среде для агентных рабочих процессов
• HTTP-сервер, совместимый с OpenAI и Anthropic
• Встроенный веб-чат интерфейс на localhost:1234/ui

Подробнее: GitHub | Документация