Плагин Pair Programmer добавляет в Claude Code живую трансляцию экрана, голосовое и аудио-сопровождение.

Разработчик выпустил Pair Programmer — плагин, который решает проблему отсутствия у Claude Code контекста в реальном времени, предоставляя живое восприятие рабочего стола. Инструмент захватывает три потока данных: содержимое экрана (с визуальной индексацией, генерирующей краткие описания сцен), ввод с микрофона (транскрипция плюс легкая классификация намерений для вопросов, объяснений или команд) и системное аудио (индексация встреч, обучающих материалов или другого аудио, воспроизводимого на машине).

Архитектура и реализация

Система использует многокомпонентный конвейер, а не подход с одной моделью. Она запускает специализированные агенты параллельно:

• Считыватель экрана для визуального контекста
• Обработчик голоса для транскрипции микрофона и классификации намерений
• Классификатор аудио для системного звука
• Оркестратор, который коррелирует все входные данные и синтезирует единый ответ

Плагин построен на инфраструктуре VideoDB. Хотя индексация в настоящее время использует облачные модели, дизайн не зависит от модели — слой Index может подключать любую VLM или LLM. Разработчик упоминает интерес к подключению локальных моделей для слоев визуального описания и транскрипции.

Текущий статус и установка

Плагин в настоящее время доступен только для macOS. Установка требует трех команд. Репозиторий GitHub доступен по адресу https://github.com/video-db/claude-code/tree/main.

Разработчик ищет отзывы об архитектурных подходах, в частности, предпочитают ли разработчики многокомпонентный конвейер со специализированными моделями и оркестрацией или стремятся к единой сквозной модели для систем восприятия рабочего стола.