Локальный ИИ-агент достигает задержки STT и TTS менее секунды с использованием открытых серверов.
Реализация локального ИИ-агента с низкой задержкой
Разработчик открыл исходный код серверных реализаций, которые обеспечивают разговорную задержку для локальных ИИ-агентов без зависимостей от облачных сервисов. Данная настройка устраняет типичную задержку в 2-3 секунды при разговоре, полностью выполняя STT и TTS на локальной инфраструктуре.
Технические детали реализации
Система STT: Использует Whisper large-v3-turbo с пользовательским мостом, реализующим гибридную архитектуру управления потоками GPU для обработки параллелизма без проблем с VRAM. Достигает задержки приблизительно 0,2 секунды.
Система TTS: Использует Coqui-TTS, работающий на локальном сервере с API, совместимым с OpenAI, оптимизированным специально для синтеза с низкой задержкой. Достигает задержки приблизительно 250 мс. Реализация включает клонированный голос Пола Беттани/Джарвиса.
Требования к оборудованию: Требуется выделенный узел с GPU NVIDIA RTX для ускорения. Разработчик отмечает, что ускорение на GPU обязательно для достижения таких скоростей.
Компоненты с открытым исходным кодом
- Локальный сервер Whisper STT:
https://github.com/fakehec/whisper-stt-local-server - Локальный сервер Coqui TTS:
https://github.com/fakehec/coqui-tts-local-server
Разработчик также поделился скриптами интеграции OpenClaw для создания локальных агентов. Реализация позволяет использовать такие разговорные функции, как корректная обработка прерываний и мгновенные ответы, сохраняя всю обработку аудио локальной.
📖 Read the full source: r/openclaw
👀 Смотрите также
Аудиоинженер создаёт инструмент анализа сведений с помощью кода Claude
Аудиоинженер создал инструмент, который анализирует аудиомиксы с помощью Web Audio API и Claude, предоставляя конкретные рекомендации по таким проблемам, как грязные низкие средние частоты, недостаток запаса по громкости и заглушенный вокал. Инструмент предлагает бесплатный тариф для быстрого анализа и платный профессиональный отчёт с детальными частотными заметками и рекомендациями по плагинам.
Протокол памяти агентов (AMP): открытая спецификация для совместимой памяти ИИ-агентов на основе MCP
AMP определяет стандартный интерфейс для постоянной памяти в AI-агентах, совместимых с MCP, с шестью базовыми глаголами: encode, recall, forget, consolidate, pin и stats. Включает набор тестов на соответствие и эталонную реализацию.
Многомодельный рабочий процесс проверки кода, упакованный как переиспользуемый навык
Многоразовый навык, который координирует несколько ИИ-моделей для проверки кода в PR и не-PR режимах, протестированный с OpenClaw и моделями, такими как GPT-5.5, DeepSeek V4 Pro, Kimi K2.6, Qwen 3.6 Plus и GLM-5.1.
Запускайте локальные LLM на телефоне с Observer: offline-агенты для мониторинга и логирования
Observer — это iOS-приложение с открытым исходным кодом, которое запускает мультимодальные LLM локально на вашем телефоне для отслеживания событий, записи данных и отправки уведомлений в Discord — всё офлайн и бесплатно.