순수 C 언어로 음성 인식을 위한 Mistral Voxtral Realtime 4B 탐구하기

Mistral Voxtral Realtime 4B는 순수 C로 구현된 음성-텍스트 모델로, C 표준 라이브러리만 사용하는 의존성 없는 대안을 제공합니다. antirez의 voxtral.c 저장소는 추론 시 Python 런타임, CUDA 툴킷 또는 기타 외부 라이브러리가 필요 없이 추론 파이프라인을 가능하게 합니다.

주요 기능

• 순수 C 구현: C 표준 라이브러리 외에 외부 의존성이 필요 없어, 최소 의존성이 중요한 환경에 적합합니다.
• 플랫폼별 백엔드: 두 가지 make 타겟을 제공합니다: Apple Silicon에서 더 빠른 처리를 위한 make mps와, bf16에서 fp32로의 변환 필요로 인해 성능이 느리지만 OpenBLAS가 장착된 Intel Mac 또는 Linux 시스템용 make blas입니다.
• 오디오 처리: 입력 길이에 관계없이 메모리 사용량을 제한하기 위해 겹치는 창이 있는 청크 인코더를 사용합니다. 또한 macOS에서 stdin 또는 마이크를 통한 오디오 입력을 허용하여 실시간 또는 파일 기반 전사 작업에 대한 다양성을 높입니다.
• 스트리밍 C API: vox_stream_t API는 증분 오디오 공급을 허용하고 생성된 대로 토큰 문자열을 출력합니다.

사용법

• ./download_model.sh를 사용하여 모델(~8.9GB)을 다운로드합니다.
• 파일에서 오디오 전사: ./voxtral -d voxtral-model -i audio.wav
• macOS에서 마이크를 통한 실시간 전사: ./voxtral -d voxtral-model --from-mic
• ffmpeg를 사용한 트랜스코딩 및 전사: ffmpeg -i audio.mp3 -f s16le -ar 16000 -ac 1 - 2> /dev/null | ./voxtral -d voxtral-model --stdin

이 프로젝트는 현재 제한된 샘플에 의존하므로 추가 테스트에 열려 있습니다. 완전한 프로덕션 준비에는 특히 KV 캐시의 순환 버퍼를 테스트하기 위한 긴 전사 처리에 더 많은 작업이 필요할 수 있습니다.