ペアプログラマープラグインが、Claude Codeにライブ画面、音声、オーディオコンテキストを追加します

開発者は、Claude Codeのリアルタイムコンテキストの不足を解消するために、ライブデスクトップ知覚を提供する「Pair Programmer」プラグインをリリースしました。このツールは3つのデータストリームをキャプチャします：画面コンテンツ（視覚的インデックス作成により短いシーン説明を生成）、マイク入力（文字起こしに加え、質問、説明、コマンドのための軽量な意図分類）、システムオーディオ（マシンで再生される会議、チュートリアル、その他のオーディオのインデックス作成）。

アーキテクチャと実装

このシステムは単一モデルアプローチではなく、マルチエージェントパイプラインを使用しています。専門化されたエージェントを並列で実行します：

• 視覚的コンテキストのためのスクリーンリーダー
• マイク文字起こしと意図分類のための音声プロセッサ
• システムオーディオのためのオーディオ分類器
• すべての入力を関連付け、単一の応答を合成するオーケストレーター

このプラグインはVideoDBインフラストラクチャ上に構築されています。インデックス作成は現在クラウドモデルを使用していますが、設計はモデルに依存せず、Index層は任意のVLMまたはLLMを交換できます。開発者は、視覚的説明と文字起こし層にローカルモデルを接続することに関心があると述べています。

現在の状況とインストール

このプラグインは現在macOSのみ対応しています。インストールには3つのコマンドが必要です。GitHubリポジトリはhttps://github.com/video-db/claude-code/tree/mainで利用可能です。

開発者は、アーキテクチャアプローチに関するフィードバックを求めています。具体的には、開発者が専門モデルとオーケストレーションを備えたマルチエージェントパイプラインを好むか、デスクトップ知覚システムのための単一モデルエンドツーエンドソリューションに向けて推進することを好むかについてです。