Plugin Pair Programmer Ajoute un Contexte d'Écran en Direct, Vocal et Audio à Claude Code

Un développeur a publié Pair Programmer, un plugin qui résout le manque de contexte en temps réel de Claude Code en fournissant une perception en direct du bureau. L'outil capture trois flux de données : le contenu de l'écran (avec une indexation visuelle générant de courtes descriptions de scènes), l'entrée du microphone (transcription plus une classification légère de l'intention pour les questions, explications ou commandes) et l'audio système (indexation des réunions, tutoriels ou autres audio joués sur la machine).

Architecture et mise en œuvre

Le système utilise un pipeline multi-agents plutôt qu'une approche à modèle unique. Il exécute des agents spécialisés en parallèle :

• Lecteur d'écran pour le contexte visuel
• Processeur vocal pour la transcription du microphone et la classification de l'intention
• Classificateur audio pour l'audio système
• Orchestrateur qui corrèle toutes les entrées et synthétise une réponse unique

Le plugin est construit sur l'infrastructure VideoDB. Bien que l'indexation utilise actuellement des modèles cloud, la conception est indépendante du modèle — la couche d'Index peut intégrer n'importe quel VLM ou LLM. Le développeur mentionne son intérêt à connecter des modèles locaux pour les couches de description visuelle et de transcription.

État actuel et installation

Le plugin est actuellement uniquement disponible pour macOS. L'installation nécessite trois commandes. Le dépôt GitHub est disponible à https://github.com/video-db/claude-code/tree/main.

Le développeur sollicite des retours sur les approches architecturales, notamment si les développeurs préfèrent le pipeline multi-agents avec des modèles spécialisés et une orchestration, ou s'orienter vers une solution à modèle unique de bout en bout pour les systèmes de perception de bureau.