Pair Programmer Plugin fügt Live-Bildschirm, Sprache und Audio-Kontext zu Claude Code hinzu
Ein Entwickler hat Pair Programmer veröffentlicht, ein Plugin, das Claude Codes fehlenden Echtzeit-Kontext durch Live-Desktop-Wahrnehmung behebt. Das Tool erfasst drei Datenströme: Bildschirminhalt (mit visueller Indizierung, die kurze Szenenbeschreibungen generiert), Mikrofoneingabe (Transkription plus leichte Absichtsklassifizierung für Fragen, Erklärungen oder Befehle) und System-Audio (Indizierung von Meetings, Tutorials oder anderem Audio auf dem Rechner).
Architektur und Implementierung
Das System verwendet eine Multi-Agenten-Pipeline statt eines Einzelmodell-Ansatzes. Es lässt spezialisierte Agenten parallel laufen:
- Bildschirmleser für visuellen Kontext
- Sprachprozessor für Mikrofontranskription und Absichtsklassifizierung
- Audio-Klassifizierer für System-Audio
- Orchestrator, der alle Eingaben korreliert und eine einzelne Antwort synthetisiert
Das Plugin basiert auf VideoDB-Infrastruktur. Während die Indizierung derzeit Cloud-Modelle nutzt, ist das Design modellunabhängig – die Index-Schicht kann jedes VLM oder LLM einbinden. Der Entwickler erwähnt Interesse daran, lokale Modelle für visuelle Beschreibungs- und Transkriptionsschichten zu integrieren.
Aktueller Status und Installation
Das Plugin ist derzeit nur für macOS verfügbar. Die Installation erfordert drei Befehle. Das GitHub-Repository ist verfügbar unter https://github.com/video-db/claude-code/tree/main.
Der Entwickler sucht Feedback zu Architekturansätzen, insbesondere ob Entwickler die Multi-Agenten-Pipeline mit spezialisierten Modellen und Orchestrierung bevorzugen oder auf eine Einzelmodell-End-to-End-Lösung für Desktop-Wahrnehmungssysteme hinarbeiten möchten.
📖 Read the full source: r/ClaudeAI
👀 Siehe auch
Chapper: Native iOS-Client für LM Studio, Ollama und OpenAI-kompatible lokale Modelle
Chapper ist eine native SwiftUI iOS-App, die sich mit LM Studio, Ollama und OpenAI-kompatiblen lokalen Modellen verbindet, ohne Cloud-Dienste oder Konten zu benötigen. Sie bietet Echtzeit-Token-Streaming, umfassende Sampling-Kontrollen, Unterstützung für Reasoning-Modelle mit <think>-Tags und Export in 7 Formaten.
Claude Code HUD: Terminal-Dashboard zur Überwachung von KI-Codierungssitzungen
claude-code-hud ist ein Terminal-Dashboard, das Echtzeit-Überwachung für Claude Code-Sitzungen bietet und die Nutzung des Kontextfensters, API-Ratenlimits und Dateiänderungen anzeigt, ohne eine IDE zu benötigen. Starten Sie es mit npx claude-code-hud.
Myelin: MD-Extraktor und Evaluator für prozedurales Gedächtnis von Claude-Code
Myelin ist ein MCP-Server, der sich über PostToolUse in Claude Code einklinkt, um Tool-Aufrufe zu erfassen, automatisch .md-Prozedurdateien aus erfolgreichen Sitzungen zu extrahieren und zu verfolgen, ob Claude bestehende Prozeduren Schritt für Schritt befolgt.
Nelson v2.2.3 veröffentlicht: Multi-Agent-Koordination für Claude Code, plus ein Benchmark für diskrete Ereignissimulation
Nelson v2.2.3 enthält eine Multi-Agenten-Koordinationsfähigkeit für Claude Code, die eine maritime Metapher verwendet. Ein Benchmark mit 13 Konfigurationen zeigt, dass opus-4-7 mit Denkmodus dominiert; die Wahl der Fähigkeit spielt eine geringere Rolle.