Pair Programmer Plugin fügt Live-Bildschirm, Sprache und Audio-Kontext zu Claude Code hinzu

Ein Entwickler hat Pair Programmer veröffentlicht, ein Plugin, das Claude Codes fehlenden Echtzeit-Kontext durch Live-Desktop-Wahrnehmung behebt. Das Tool erfasst drei Datenströme: Bildschirminhalt (mit visueller Indizierung, die kurze Szenenbeschreibungen generiert), Mikrofoneingabe (Transkription plus leichte Absichtsklassifizierung für Fragen, Erklärungen oder Befehle) und System-Audio (Indizierung von Meetings, Tutorials oder anderem Audio auf dem Rechner).

Architektur und Implementierung

Das System verwendet eine Multi-Agenten-Pipeline statt eines Einzelmodell-Ansatzes. Es lässt spezialisierte Agenten parallel laufen:

• Bildschirmleser für visuellen Kontext
• Sprachprozessor für Mikrofontranskription und Absichtsklassifizierung
• Audio-Klassifizierer für System-Audio
• Orchestrator, der alle Eingaben korreliert und eine einzelne Antwort synthetisiert

Das Plugin basiert auf VideoDB-Infrastruktur. Während die Indizierung derzeit Cloud-Modelle nutzt, ist das Design modellunabhängig – die Index-Schicht kann jedes VLM oder LLM einbinden. Der Entwickler erwähnt Interesse daran, lokale Modelle für visuelle Beschreibungs- und Transkriptionsschichten zu integrieren.

Aktueller Status und Installation

Das Plugin ist derzeit nur für macOS verfügbar. Die Installation erfordert drei Befehle. Das GitHub-Repository ist verfügbar unter https://github.com/video-db/claude-code/tree/main.

Der Entwickler sucht Feedback zu Architekturansätzen, insbesondere ob Entwickler die Multi-Agenten-Pipeline mit spezialisierten Modellen und Orchestrierung bevorzugen oder auf eine Einzelmodell-End-to-End-Lösung für Desktop-Wahrnehmungssysteme hinarbeiten möchten.