Plugin Pair Programmer Ajoute un Contexte d'Écran en Direct, Vocal et Audio à Claude Code
Un développeur a publié Pair Programmer, un plugin qui résout le manque de contexte en temps réel de Claude Code en fournissant une perception en direct du bureau. L'outil capture trois flux de données : le contenu de l'écran (avec une indexation visuelle générant de courtes descriptions de scènes), l'entrée du microphone (transcription plus une classification légère de l'intention pour les questions, explications ou commandes) et l'audio système (indexation des réunions, tutoriels ou autres audio joués sur la machine).
Architecture et mise en œuvre
Le système utilise un pipeline multi-agents plutôt qu'une approche à modèle unique. Il exécute des agents spécialisés en parallèle :
- Lecteur d'écran pour le contexte visuel
- Processeur vocal pour la transcription du microphone et la classification de l'intention
- Classificateur audio pour l'audio système
- Orchestrateur qui corrèle toutes les entrées et synthétise une réponse unique
Le plugin est construit sur l'infrastructure VideoDB. Bien que l'indexation utilise actuellement des modèles cloud, la conception est indépendante du modèle — la couche d'Index peut intégrer n'importe quel VLM ou LLM. Le développeur mentionne son intérêt à connecter des modèles locaux pour les couches de description visuelle et de transcription.
État actuel et installation
Le plugin est actuellement uniquement disponible pour macOS. L'installation nécessite trois commandes. Le dépôt GitHub est disponible à https://github.com/video-db/claude-code/tree/main.
Le développeur sollicite des retours sur les approches architecturales, notamment si les développeurs préfèrent le pipeline multi-agents avec des modèles spécialisés et une orchestration, ou s'orienter vers une solution à modèle unique de bout en bout pour les systèmes de perception de bureau.
📖 Read the full source: r/ClaudeAI
👀 See Also
Extension OpenClaw Claude mise à jour pour utiliser l'Agent SDK suite aux changements de facturation d'Anthropic
Un développeur d'extension OpenClaw a réécrit son intégration CLI Claude pour utiliser le SDK officiel claude-agent-sdk après qu'Anthropic a commencé à détecter et reclasser l'utilisation CLI comme utilisation d'application tierce, qui facture contre un pool de crédits séparé au lieu des limites du plan Max. L'approche SDK s'authentifie via la connexion Claude Code existante et facture comme une utilisation normale du plan Max.
Claude Code Ultracode Mode génère un pipeline de 70 agents pour la recherche approfondie
Une seule requête 'deep search' en mode ultracode de Claude Code génère automatiquement un pipeline en 4 phases avec ~70 agents, chacun récupérant et recoupant les projets indépendamment. Le script d'orchestration maintient les résultats intermédiaires hors de la fenêtre de contexte, évitant ainsi une surcharge.
Plugin de mémoire de l'agent OpenClaw : Contexte persistant entre les sessions
Un développeur a créé un plugin de mémoire pour OpenClaw qui donne aux agents une mémoire persistante entre les sessions, résolvant le problème des agents qui oublient tout entre les interactions et nécessitent les mêmes explications à répétition.
Claude Code Skill refactore les composants React en utilisant les principes de « Ne me faites pas réfléchir »
Une nouvelle compétence Claude Code refactorise automatiquement les composants React pour l'utilisabilité selon les principes de Steve Krug — supprime le blabla, met en avant les CTA primaires, corrige les états vides/erreur et resserre les libellés.