Создание голосовой мультиагентной системы на основе Claude Code
Разработчик на r/ClaudeAI создал за выходные проект, добавляющий голосовое управление Claude Code на macOS, с ключевым словом, голосовым циклом WebRTC и мультиагентной оркестрацией. То, что начиналось как удобный хак, превратилось в систему, где главный агент разбивает задачи, привлекает под-агентов и запускает их параллельно с авто-проверками.
Как это работает
- Ключевое слово: "Yabby" активирует голосовой цикл. Разработчик выбрал нестандартное слово, чтобы избежать конфликтов с Siri или другими ассистентами.
- Голосовой цикл: WebRTC обрабатывает аудиопоток в реальном времени. Система использует Realtime API от Anthropic для распознавания речи и синтеза речи; целевая задержка — менее 300 мс, но API иногда вызывает задержки.
- Главный агент: Получает голосовой запрос, выполняет фазу анализа, создаёт план проекта и привлекает небольшую команду (менеджер + 2-3 под-агента) для выполнения шагов.
- Параллельное выполнение: Под-агенты работают параллельно, где возможно, иначе последовательно. Каждый агент получает свой сеанс CLI Claude Code с отдельным потоком — диалоги не пересекаются.
- Авто-QA: Когда под-агент завершает работу, запускается проверка с задержкой в 5 секунд для предотвращения накладок. Во время тестирования один агент обнаружил ошибку, допущенную другим агентом — непредвиденное эмерджентное поведение.
- Модальное окно утверждения плана: Перед выполнением любого агентом появляется модальное окно для проверки плана пользователем. Это предотвращает выполнение непроверенных действий.
Болевые точки
- Верификация говорящего: Использует косинусное сходство для эмбеддингов речи. Порог сложно настроить — слишком строгий отклоняет пользователя при простуде, слишком слабый позволяет любому в комнате отдавать команды.
- Проблемы с локалью: По умолчанию использовался французский язык, так как код был написан на нём. Разработчик постепенно это исправляет.
- Жизненный цикл фоновых задач: Когда родительский процесс CLI Claude Code завершается, фоновые задачи тихо умирают. Разработчик написал OS-уровневый PID-наблюдатель с shell-скриптом для отслеживания, какие долгоживущие серверы упали.
- Чрезмерное планирование: Главный агент иногда создаёт четырёхфазный план для тривиальных запросов, например, переименования файла.
Открытые вопросы
Разработчик ещё думает, как сократить многословность на этапе QA, стоит ли позволять под-агентам нанимать собственных под-агентов (рекурсивное делегирование) и как удерживать задержку голоса ниже 300 мс, когда Realtime API барахлит. Ему также интересно, как официальный голосовой режим от Anthropic (внедрённый для 5% пользователей) будет справляться с мультиагентной координацией.
📖 Читать полный источник: r/ClaudeAI
👀 Смотрите также
Джемма 4 E2B протестирована в роли координатора мультиагентов в TypeScript-фреймворке.
Разработчик протестировал Gemma 4 E2B в роли координатора в мультиагентной системе с использованием фреймворка open-multi-agent на TypeScript. Модель успешно декомпозировала задачи в JSON, назначала агентов, вызывала инструменты, такие как bash и файловые операции, и синтезировала результаты.
Гипура: планировщик вывода LLM с учетом уровня хранения для Apple Silicon
Hypura — это планировщик вывода на Rust, который распределяет тензоры модели по уровням GPU, оперативной памяти и NVMe для запуска моделей, превышающих объем физической памяти на компьютерах Apple Silicon Mac. Это позволяет запускать модель Mixtral 8x7B объемом 31 ГБ на Mac Mini с 32 ГБ памяти со скоростью 2,2 токена/с и модель Llama 70B объемом 40 ГБ со скоростью 0,3 токена/с, тогда как стандартный llama.cpp завершается сбоем.
Снижение задержки мультимодального агента за счет исключения истории скриншотов
Разработчик обнаружил, что исключение предыдущих скриншотов из запросов мультимодальных агентов и замена данных изображений в формате base64 на строки "[изображение опущено]" значительно снижает задержку при сохранении производительности. Эксперимент проводился с использованием Claude и задокументирован на GitHub.
Стокейд: Новый инструмент оркестрации для Claude Code с поддержкой каналов и уровнями безопасности
Stockade — это инструмент оркестрации, созданный на основе Agent SDK от Anthropic, который предоставляет управление сессиями на основе каналов, RBAC и детализированные разрешения для ИИ-агентов. Он устраняет ограничения OpenClaw и NanoClaw, предлагая больше контроля при сохранении безопасности через контейнеризацию и прокси учетных данных.