VibeVoice オープンソース化：60分ASRと90分TTSモデル完全解説

マイクロソフトは、ASRとTTSの両方をカバーするフロンティア音声AIモデルファミリー、VibeVoiceをオープンソース化しました。ASRモデル（VibeVoice-ASR-7B）は、60分までの長尺音声をシングルパス（64Kトークンウィンドウ）で処理し、話者ID、タイムスタンプ、テキストを含む構造化された文字起こしを出力します。50以上の言語に対応し、ドメイン固有の用語向けにユーザーカスタマイズ可能なホットワードもサポートします。TTSモデル（VibeVoice-TTS-1.5B）は、最大4人の話者による最大90分のマルチスピーカー音声を合成できます。リアルタイムバリアント（VibeVoice-Realtime-0.5B）は、ストリーミングテキスト入力と長尺生成をサポートし、多言語音声（9言語）と11の英語スタイル音声を提供します。

主要な技術詳細

中核的革新: フレームレート7.5Hzという超低フレームレートの連続音声トークナイザー（音響および意味）により、オーディオの忠実度を保ちながら、長いシーケンスの計算効率を向上。
アーキテクチャ: ネクストトークン拡散フレームワーク — LLMがテキストコンテキストと対話フローを処理し、拡散ヘッドが高忠実度の音響詳細を生成。
ASR機能: シングルパス60分音声、ASR＋ダイアリゼーション＋タイムスタンプ（誰が、いつ、何を）の統合、カスタマイズ可能なホットワード。
TTS機能: 最大4人の異なる話者による90分の長尺合成；VibeVoice-Realtime-0.5Bによるリアルタイムストリーミング。
推論高速化: vLLM推論対応（vllm-asrを参照）。
ファインチューニング: ASRファインチューニングコードが利用可能。
Hugging Face統合: VibeVoice-ASRはTransformersリリース（2026-03-06）の一部になりました。