mistral.rs supporte désormais Gemma 4 12B avec des fonctionnalités multimodales, agentiques et de prédiction multi-tour (MTP). Cette version inclut la recherche web et l'exécution de code en sandbox pour créer des applications agentiques, ainsi que l'entrée audio, image et vidéo.

Installation

Installation en une ligne pour Linux/macOS et Windows :

# Linux/macOS
curl --proto '=https' --tlsv1.2 -sSf https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.sh | sh

Windows
irm https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.ps1 | iex

Exécution avec Agent et Quantification

Lancez un serveur HTTP compatible OpenAI et Anthropic avec une interface web intégrée à localhost:1234/ui :

mistralrs run --agent -m google/gemma-4-12B-it --quant 4

Activation de MTP (Multi-Turn Prediction)

Pour utiliser MTP, ajoutez le flag --mtp-model avec le modèle assistant :

mistralrs run --agent -m google/gemma-4-12B-it --quant 4 --mtp-model google/gemma-4-12B-it-assistant

Fonctionnalités clés

• Support multimodal complet : audio, image et vidéo
• Recherche web et exécution de code en sandbox pour des workflows agentiques
• Serveur HTTP compatible OpenAI et Anthropic
• Interface de chat web intégrée à localhost:1234/ui

Pour plus de détails : GitHub | Documentation