mistral.rs가 이제 Gemma 4 12B를 멀티모달, 에이전틱, 다중 턴 예측(MTP) 기능과 함께 지원합니다. 이번 릴리스에는 웹 검색과 샌드박스 코드 실행이 포함되어 에이전틱 앱을 구축할 수 있으며, 오디오, 이미지, 비디오 입력도 지원합니다.

설치

Linux/macOS 및 Windows용 한 줄 설치:

# Linux/macOS
curl --proto '=https' --tlsv1.2 -sSf https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.sh | sh

Windows
irm https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.ps1 | iex

에이전트 및 양자화 실행

OpenAI 및 Anthropic 호환 HTTP 서버를 내장 웹 UI와 함께 localhost:1234/ui에서 실행:

mistralrs run --agent -m google/gemma-4-12B-it --quant 4

MTP(다중 턴 예측) 활성화

MTP를 사용하려면 --mtp-model 플래그에 어시스턴트 모델을 추가하세요:

mistralrs run --agent -m google/gemma-4-12B-it --quant 4 --mtp-model google/gemma-4-12B-it-assistant

주요 기능

• 전체 멀티모달 지원: 오디오, 이미지, 비디오
• 에이전틱 워크플로를 위한 웹 검색 및 샌드박스 코드 실행
• OpenAI 및 Anthropic 호환 HTTP 서버
• localhost:1234/ui에서 내장 웹 채팅 UI

자세한 내용: GitHub | 문서