ClawVibe: オンデバイスSTT/TTSを搭載したAIエージェント向けのハンズフリーiOS音声アシスタント

✍️ OpenClawRadar📅 公開日: May 17, 2026🔗 Source
ClawVibe: オンデバイスSTT/TTSを搭載したAIエージェント向けのハンズフリーiOS音声アシスタント
Ad

ClawVibeは、運転中に完全ハンズフリーでAIエージェントと話せるネイティブiOS音声アシスタントです。開発者は、片道45分の通勤中、スマホを手に持つのは危険で、Web UIではタップが必要という問題に直面し、このアプリを開発しました。2ヶ月の開発期間を経て、現在TestFlightでベータ版を配布中。App Storeでは無料で公開予定です。

主要な技術的判断

中核となるアーキテクチャ上の選択は、すべての音声処理をデバイス上で行うことです。初期バージョンでは音声をサーバーにストリーミングして文字起こししていましたが、モバイルネットワークでのレイテンシー変動やパケットロスに悩まされました。解決策は、音声認識とテキスト読み上げを端末内で処理し、ネットワークにはプレーンテキストの文字起こし結果のみを送信することです。これにより接続の問題が解消され、電波がほとんど届かない場所でも動作します。

端末内処理にはバックエンド上の課題がありました。ほとんどのMLモデルはAppleのMetalフレームワーク(GPUアクセラレーション)を使用しますが、Appleはこれをバックグラウンドで実行することを許可していません。そのため、アプリは標準のCoreML(GPU非対応)にフォールバックし、画面がオフの間も音声検出と処理を維持します。これはハンズフリー使用のために必要なトレードオフです。

背景ノイズ(GPS案内、会話、ラジオなど)も別の課題でした。解決策は音声生体認証です。アプリはあなたの声のプロファイルを学習し、認識された音声のみをAIに送信します。GPSアナウンスやその他のノイズは無視されます。

Ad

機能

  • オンデバイス音声認識:ローカルで文字起こし。音声がAppleやGoogleに送信されることはありません。AIバックエンドにはテキストのみ送信。
  • オンデバイスTTS:複数の音声オプション。電話またはCarPlayスピーカーから出力。
  • 常時オンの音声検出:ボタン押下やウェイクワードは不要。話しているときに自動認識。
  • CarPlay連携:車内で完全ハンズフリー。これが開発の原動力。
  • プライマリ音声認識:登録された声のみAIを起動。バックグラウンド音はフィルタリング。
  • GPSコンテキスト:各メッセージに位置情報を付加。位置に応じた応答が可能。

バックエンドと利用方法

ClawVibeに接続するには、自分でAIバックエンドを用意する必要があります。いくつかの構成に対応しており、さらに多くの統合を進行中です。既にOpenClawを運用しているならそのまま使えます。そうでない場合、ローカルのオンデバイスモデルでアプリを試すこともできます。

現在、アプリはTestFlightでベータ版を配信中。無料のApp Store版では、中核となる音声操作体験を提供します。プレミアムティア(後日提供)では、より多くの音声、複数の音声プロファイル、CarPlay UIの拡張、Apple Watch対応などの追加機能を予定しています。

対象ユーザー

AIエージェントをセルフホストし、運転中や手がふさがっている状況でプライバシー重視のハンズフリー音声インターフェースを求める開発者向け。

📖 Read the full source: r/openclaw

Ad

👀 See Also

ローカルダッシュボードは、Claude Codeの使用状況をトークンコスト、ツール呼び出し、セッション分析で追跡します。
Tools

ローカルダッシュボードは、Claude Codeの使用状況をトークンコスト、ツール呼び出し、セッション分析で追跡します。

開発者が、Claude CodeのJSONLセッションファイルを読み取り、トークン使用量、推定コスト、ツール呼び出しの内訳、セッション履歴を可視化するローカルダッシュボードを構築しました。このツールはExpress APIとReactダッシュボードを使用し、完全にユーザーのマシン上で動作します。

OpenClawRadar
エージェント&A.I.エンパイア:AIエージェントがプレイし人間が観戦するストラテジーゲーム
Tools

エージェント&A.I.エンパイア:AIエージェントがプレイし人間が観戦するストラテジーゲーム

Agents & A.I.mpiresは、六角形グリッドの地球儀上で行われる持続的リアルタイムストラテジーゲームです。AIエージェントが自律的に領土を主張し、攻撃し、同盟を結び、HTTP API呼び出しを介して毎日の戦争ブログを書きます。人間は創発的な行動を見守るだけです。

OpenClawRadar
コンテキストルーティング層は、アクセスされたファイルを追跡することで、Claudeコードのトークン使用量を削減します。
Tools

コンテキストルーティング層は、アクセスされたファイルを追跡することで、Claudeコードのトークン使用量を削減します。

開発者は、コンテキストルーティングレイヤーを追加することで、AIが後続のターンで同じリポジトリファイルを再読取するのを防ぎ、Claude Codeの使用料を月約80ドル節約しました。このツールは、既にアクセスされたファイルを追跡し、冗長なトークン消費を削減します。

OpenClawRadar
Atoo Studio:マルチプロジェクトのClaudeコードワークフローを管理するためのオープンソースワークスペース
Tools

Atoo Studio:マルチプロジェクトのClaudeコードワークフローを管理するためのオープンソースワークスペース

Atoo Studioは、複数のプロジェクトでClaude Codeを使用する際のターミナルやタブの混乱に対処するために構築されたオープンソースワークスペースです。Gitブランチのようなセッションフォークを導入し、Claude Code、Codex CLI、Gemini CLI間での継続を可能にします。

OpenClawRadar