ペアプログラマープラグインが、Claude Codeにライブ画面、音声、オーディオコンテキストを追加します

✍️ OpenClawRadar📅 公開日: April 16, 2026🔗 Source
ペアプログラマープラグインが、Claude Codeにライブ画面、音声、オーディオコンテキストを追加します
Ad

開発者は、Claude Codeのリアルタイムコンテキストの不足を解消するために、ライブデスクトップ知覚を提供する「Pair Programmer」プラグインをリリースしました。このツールは3つのデータストリームをキャプチャします:画面コンテンツ(視覚的インデックス作成により短いシーン説明を生成)、マイク入力(文字起こしに加え、質問、説明、コマンドのための軽量な意図分類)、システムオーディオ(マシンで再生される会議、チュートリアル、その他のオーディオのインデックス作成)。

アーキテクチャと実装

このシステムは単一モデルアプローチではなく、マルチエージェントパイプラインを使用しています。専門化されたエージェントを並列で実行します:

  • 視覚的コンテキストのためのスクリーンリーダー
  • マイク文字起こしと意図分類のための音声プロセッサ
  • システムオーディオのためのオーディオ分類器
  • すべての入力を関連付け、単一の応答を合成するオーケストレーター

このプラグインはVideoDBインフラストラクチャ上に構築されています。インデックス作成は現在クラウドモデルを使用していますが、設計はモデルに依存せず、Index層は任意のVLMまたはLLMを交換できます。開発者は、視覚的説明と文字起こし層にローカルモデルを接続することに関心があると述べています。

現在の状況とインストール

このプラグインは現在macOSのみ対応しています。インストールには3つのコマンドが必要です。GitHubリポジトリはhttps://github.com/video-db/claude-code/tree/mainで利用可能です。

開発者は、アーキテクチャアプローチに関するフィードバックを求めています。具体的には、開発者が専門モデルとオーケストレーションを備えたマルチエージェントパイプラインを好むか、デスクトップ知覚システムのための単一モデルエンドツーエンドソリューションに向けて推進することを好むかについてです。

📖 Read the full source: r/ClaudeAI

Ad

👀 See Also

LLMマトリックス:コミュニティ投票によるモデル比較、Claude Codeで構築
Tools

LLMマトリックス:コミュニティ投票によるモデル比較、Claude Codeで構築

データサイエンティストがllm-matrix.vercel.appを構築し、複数の次元でLLMスコアを同時に比較できるようにしました。コミュニティの投票がランキングを形成し、このサイトはClaude Codeと2つの特定のプラグインを使用して完全に開発されました。

OpenClawRadar
Sandbox0: AIエージェントのためのオープンソースKubernetesネイティブサンドボックスインフラストラクチャ
Tools

Sandbox0: AIエージェントのためのオープンソースKubernetesネイティブサンドボックスインフラストラクチャ

Sandbox0は、JuiceFSによる永続ストレージと自動スケーリングを備えたKubernetes上に構築された、AIエージェント向けのオープンソースサンドボックスインフラストラクチャです。既存ソリューションに見られる同時実行数の制限や一時的な実行といった課題に対応しています。

OpenClawRadar
Claude Code Mastery:オープンソースの設定システムがClaude Code CLIに永続メモリと厳選されたスキルを追加
Tools

Claude Code Mastery:オープンソースの設定システムがClaude Code CLIに永続メモリと厳選されたスキルを追加

Claude Code Masteryは、Claude Code CLIにセッション間の永続的なメモリ、スマートなライフサイクルフック、26以上の厳選されたスキルを追加するオープンソースの設定システムです。プロジェクトごとに6ファイルのMemory Bank、ゼロ設定ランチャー、クロスプラットフォーム対応を含みます。

OpenClawRadar
Claude IDE Bridge: オープンソースツールでClaude AIがコードエディタに直接アクセス
Tools

Claude IDE Bridge: オープンソースツールでClaude AIがコードエディタに直接アクセス

Claude IDE Bridgeは、オープンソースのMITライセンスツールで、Claude AIをコードエディタに直接接続し、貼り付けられたコードスニペットではなく、開いているファイル、未保存の変更、エラーをライブで確認できるようにします。このツールは現在、VS CodeとWindsurfで動作します。

OpenClawRadar