Создание голосовой мультиагентной системы на основе Claude Code

Разработчик на r/ClaudeAI создал за выходные проект, добавляющий голосовое управление Claude Code на macOS, с ключевым словом, голосовым циклом WebRTC и мультиагентной оркестрацией. То, что начиналось как удобный хак, превратилось в систему, где главный агент разбивает задачи, привлекает под-агентов и запускает их параллельно с авто-проверками.

Как это работает

• Ключевое слово: "Yabby" активирует голосовой цикл. Разработчик выбрал нестандартное слово, чтобы избежать конфликтов с Siri или другими ассистентами.
• Голосовой цикл: WebRTC обрабатывает аудиопоток в реальном времени. Система использует Realtime API от Anthropic для распознавания речи и синтеза речи; целевая задержка — менее 300 мс, но API иногда вызывает задержки.
• Главный агент: Получает голосовой запрос, выполняет фазу анализа, создаёт план проекта и привлекает небольшую команду (менеджер + 2-3 под-агента) для выполнения шагов.
• Параллельное выполнение: Под-агенты работают параллельно, где возможно, иначе последовательно. Каждый агент получает свой сеанс CLI Claude Code с отдельным потоком — диалоги не пересекаются.
• Авто-QA: Когда под-агент завершает работу, запускается проверка с задержкой в 5 секунд для предотвращения накладок. Во время тестирования один агент обнаружил ошибку, допущенную другим агентом — непредвиденное эмерджентное поведение.
• Модальное окно утверждения плана: Перед выполнением любого агентом появляется модальное окно для проверки плана пользователем. Это предотвращает выполнение непроверенных действий.

Болевые точки

• Верификация говорящего: Использует косинусное сходство для эмбеддингов речи. Порог сложно настроить — слишком строгий отклоняет пользователя при простуде, слишком слабый позволяет любому в комнате отдавать команды.
• Проблемы с локалью: По умолчанию использовался французский язык, так как код был написан на нём. Разработчик постепенно это исправляет.
• Жизненный цикл фоновых задач: Когда родительский процесс CLI Claude Code завершается, фоновые задачи тихо умирают. Разработчик написал OS-уровневый PID-наблюдатель с shell-скриптом для отслеживания, какие долгоживущие серверы упали.
• Чрезмерное планирование: Главный агент иногда создаёт четырёхфазный план для тривиальных запросов, например, переименования файла.

Открытые вопросы

Разработчик ещё думает, как сократить многословность на этапе QA, стоит ли позволять под-агентам нанимать собственных под-агентов (рекурсивное делегирование) и как удерживать задержку голоса ниже 300 мс, когда Realtime API барахлит. Ему также интересно, как официальный голосовой режим от Anthropic (внедрённый для 5% пользователей) будет справляться с мультиагентной координацией.