mistral.rs unterstützt jetzt Gemma 4 12B mit multimodalen, agentischen und Multi-Turn Prediction (MTP)-Funktionen. Dieses Release beinhaltet Websuche und sandboxierte Codeausführung für den Bau agentischer Apps sowie Audio-, Bild- und Videoeingabe.

Installation

Einzeilige Installation für Linux/macOS und Windows:

# Linux/macOS
curl --proto '=https' --tlsv1.2 -sSf https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.sh | sh

Windows
irm https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.ps1 | iex

Ausführung mit Agent und Quantisierung

Starten Sie einen OpenAI- und Anthropic-kompatiblen HTTP-Server mit integrierter Web-UI unter localhost:1234/ui:

mistralrs run --agent -m google/gemma-4-12B-it --quant 4

Aktivieren von MTP (Multi-Turn Prediction)

Um MTP zu nutzen, fügen Sie das Flag --mtp-model mit dem Assistant-Modell hinzu:

mistralrs run --agent -m google/gemma-4-12B-it --quant 4 --mtp-model google/gemma-4-12B-it-assistant

Hauptfunktionen

• Volle multimodale Unterstützung: Audio, Bild und Video
• Websuche und sandboxierte Codeausführung für agentische Workflows
• OpenAI- und Anthropic-kompatibler HTTP-Server
• Integrierte Web-Chat-UI unter localhost:1234/ui

Weitere Details: GitHub | Dokumentation