ClawVibe: オンデバイスSTT/TTSを搭載したAIエージェント向けのハンズフリーiOS音声アシスタント

ClawVibeは、運転中に完全ハンズフリーでAIエージェントと話せるネイティブiOS音声アシスタントです。開発者は、片道45分の通勤中、スマホを手に持つのは危険で、Web UIではタップが必要という問題に直面し、このアプリを開発しました。2ヶ月の開発期間を経て、現在TestFlightでベータ版を配布中。App Storeでは無料で公開予定です。
主要な技術的判断
中核となるアーキテクチャ上の選択は、すべての音声処理をデバイス上で行うことです。初期バージョンでは音声をサーバーにストリーミングして文字起こししていましたが、モバイルネットワークでのレイテンシー変動やパケットロスに悩まされました。解決策は、音声認識とテキスト読み上げを端末内で処理し、ネットワークにはプレーンテキストの文字起こし結果のみを送信することです。これにより接続の問題が解消され、電波がほとんど届かない場所でも動作します。
端末内処理にはバックエンド上の課題がありました。ほとんどのMLモデルはAppleのMetalフレームワーク(GPUアクセラレーション)を使用しますが、Appleはこれをバックグラウンドで実行することを許可していません。そのため、アプリは標準のCoreML(GPU非対応)にフォールバックし、画面がオフの間も音声検出と処理を維持します。これはハンズフリー使用のために必要なトレードオフです。
背景ノイズ(GPS案内、会話、ラジオなど)も別の課題でした。解決策は音声生体認証です。アプリはあなたの声のプロファイルを学習し、認識された音声のみをAIに送信します。GPSアナウンスやその他のノイズは無視されます。
機能
- オンデバイス音声認識:ローカルで文字起こし。音声がAppleやGoogleに送信されることはありません。AIバックエンドにはテキストのみ送信。
- オンデバイスTTS:複数の音声オプション。電話またはCarPlayスピーカーから出力。
- 常時オンの音声検出:ボタン押下やウェイクワードは不要。話しているときに自動認識。
- CarPlay連携:車内で完全ハンズフリー。これが開発の原動力。
- プライマリ音声認識:登録された声のみAIを起動。バックグラウンド音はフィルタリング。
- GPSコンテキスト:各メッセージに位置情報を付加。位置に応じた応答が可能。
バックエンドと利用方法
ClawVibeに接続するには、自分でAIバックエンドを用意する必要があります。いくつかの構成に対応しており、さらに多くの統合を進行中です。既にOpenClawを運用しているならそのまま使えます。そうでない場合、ローカルのオンデバイスモデルでアプリを試すこともできます。
現在、アプリはTestFlightでベータ版を配信中。無料のApp Store版では、中核となる音声操作体験を提供します。プレミアムティア(後日提供)では、より多くの音声、複数の音声プロファイル、CarPlay UIの拡張、Apple Watch対応などの追加機能を予定しています。
対象ユーザー
AIエージェントをセルフホストし、運転中や手がふさがっている状況でプライバシー重視のハンズフリー音声インターフェースを求める開発者向け。
📖 Read the full source: r/openclaw
👀 See Also

CogniLayer:Claude Codeにおける永続メモリのためのMCPサーバー
CogniLayerは、SQLiteデータベースにFTS5全文検索とベクトル埋め込みを活用し、Claude Codeにセッションを超えた永続的なメモリを提供するオープンソースのMCPサーバーです。これにより、Claudeがセッション間でプロジェクトのコンテキストを忘れてしまう問題を解決します。

オープンソースのClaudeスキルが、B2B SaaSの成長ナレッジを構造化し、一貫したAI推論を実現
ある開発者が、複雑なワークフローでClaudeを使用する際の一般的な問題である、整理されていないコンテキストが一般的な回答を引き起こすという課題に対処するClaude Skillをオープンソース化しました。この解決策は、Claudeが一貫して参照できる形式に知識を構造化することにあります。

OpenClaw用のローカル音声テキスト変換にParakeet TDT 0.6b v3を使用
開発者がNVIDIAのParakeet TDT 0.6b v3モデルをONNX経由でCPU上でローカル実行できるように変換し、25のヨーロッパ言語をサポートしています。このモデルはDockerコンテナを通じてOpenAI互換のAPIエンドポイントを提供し、OpenClawでの音声ファイル文字起こしとの統合を可能にします。

ロア: AIコーディング会話から構造化されたコンテキストを抽出するツール
LoreはClaude Codeで構築されたブラウザベースのツールで、AI会話から構造化されたコンテキストを抽出し、決定事項、TODO、ブロッカー、再開チェックリストを記録します。React + TypeScriptのPWAで、Chrome拡張機能により会話の直接キャプチャとコンテキスト注入が可能です。