ClawVibe: オンデバイスSTT/TTSを搭載したAIエージェント向けのハンズフリーiOS音声アシスタント

ClawVibeは、運転中に完全ハンズフリーでAIエージェントと話せるネイティブiOS音声アシスタントです。開発者は、片道45分の通勤中、スマホを手に持つのは危険で、Web UIではタップが必要という問題に直面し、このアプリを開発しました。2ヶ月の開発期間を経て、現在TestFlightでベータ版を配布中。App Storeでは無料で公開予定です。

主要な技術的判断

中核となるアーキテクチャ上の選択は、すべての音声処理をデバイス上で行うことです。初期バージョンでは音声をサーバーにストリーミングして文字起こししていましたが、モバイルネットワークでのレイテンシー変動やパケットロスに悩まされました。解決策は、音声認識とテキスト読み上げを端末内で処理し、ネットワークにはプレーンテキストの文字起こし結果のみを送信することです。これにより接続の問題が解消され、電波がほとんど届かない場所でも動作します。

端末内処理にはバックエンド上の課題がありました。ほとんどのMLモデルはAppleのMetalフレームワーク（GPUアクセラレーション）を使用しますが、Appleはこれをバックグラウンドで実行することを許可していません。そのため、アプリは標準のCoreML（GPU非対応）にフォールバックし、画面がオフの間も音声検出と処理を維持します。これはハンズフリー使用のために必要なトレードオフです。

背景ノイズ（GPS案内、会話、ラジオなど）も別の課題でした。解決策は音声生体認証です。アプリはあなたの声のプロファイルを学習し、認識された音声のみをAIに送信します。GPSアナウンスやその他のノイズは無視されます。

機能

• オンデバイス音声認識：ローカルで文字起こし。音声がAppleやGoogleに送信されることはありません。AIバックエンドにはテキストのみ送信。
• オンデバイスTTS：複数の音声オプション。電話またはCarPlayスピーカーから出力。
• 常時オンの音声検出：ボタン押下やウェイクワードは不要。話しているときに自動認識。
• CarPlay連携：車内で完全ハンズフリー。これが開発の原動力。
• プライマリ音声認識：登録された声のみAIを起動。バックグラウンド音はフィルタリング。
• GPSコンテキスト：各メッセージに位置情報を付加。位置に応じた応答が可能。

バックエンドと利用方法

ClawVibeに接続するには、自分でAIバックエンドを用意する必要があります。いくつかの構成に対応しており、さらに多くの統合を進行中です。既にOpenClawを運用しているならそのまま使えます。そうでない場合、ローカルのオンデバイスモデルでアプリを試すこともできます。

現在、アプリはTestFlightでベータ版を配信中。無料のApp Store版では、中核となる音声操作体験を提供します。プレミアムティア（後日提供）では、より多くの音声、複数の音声プロファイル、CarPlay UIの拡張、Apple Watch対応などの追加機能を予定しています。

対象ユーザー

AIエージェントをセルフホストし、運転中や手がふさがっている状況でプライバシー重視のハンズフリー音声インターフェースを求める開発者向け。