mistral.rs ahora es compatible con Gemma 4 12B, con funciones multimodales, de agente y de Predicción Multiturno (MTP). Esta versión incluye búsqueda web y ejecución de código en entorno aislado para crear aplicaciones de agente, además de entrada de audio, imagen y video.

Instalación

Instalación de una sola línea para Linux/macOS y Windows:

# Linux/macOS
curl --proto '=https' --tlsv1.2 -sSf https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.sh | sh

Windows
irm https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.ps1 | iex

Ejecución con agente y cuantización

Inicia un servidor HTTP compatible con OpenAI y Anthropic, con una interfaz web integrada en localhost:1234/ui:

mistralrs run --agent -m google/gemma-4-12B-it --quant 4

Habilitar MTP (Predicción Multiturno)

Para usar MTP, añade el flag --mtp-model con el modelo asistente:

mistralrs run --agent -m google/gemma-4-12B-it --quant 4 --mtp-model google/gemma-4-12B-it-assistant

Características principales

• Soporte multimodal completo: audio, imagen y video
• Búsqueda web y ejecución de código en entorno aislado para flujos de trabajo de agente
• Servidor HTTP compatible con OpenAI y Anthropic
• Interfaz de chat web integrada en localhost:1234/ui

Para más detalles: GitHub | Documentación