Локальный ИИ-агент достигает задержки STT и TTS менее секунды с использованием открытых серверов.
Реализация локального ИИ-агента с низкой задержкой
Разработчик открыл исходный код серверных реализаций, которые обеспечивают разговорную задержку для локальных ИИ-агентов без зависимостей от облачных сервисов. Данная настройка устраняет типичную задержку в 2-3 секунды при разговоре, полностью выполняя STT и TTS на локальной инфраструктуре.
Технические детали реализации
Система STT: Использует Whisper large-v3-turbo с пользовательским мостом, реализующим гибридную архитектуру управления потоками GPU для обработки параллелизма без проблем с VRAM. Достигает задержки приблизительно 0,2 секунды.
Система TTS: Использует Coqui-TTS, работающий на локальном сервере с API, совместимым с OpenAI, оптимизированным специально для синтеза с низкой задержкой. Достигает задержки приблизительно 250 мс. Реализация включает клонированный голос Пола Беттани/Джарвиса.
Требования к оборудованию: Требуется выделенный узел с GPU NVIDIA RTX для ускорения. Разработчик отмечает, что ускорение на GPU обязательно для достижения таких скоростей.
Компоненты с открытым исходным кодом
- Локальный сервер Whisper STT:
https://github.com/fakehec/whisper-stt-local-server - Локальный сервер Coqui TTS:
https://github.com/fakehec/coqui-tts-local-server
Разработчик также поделился скриптами интеграции OpenClaw для создания локальных агентов. Реализация позволяет использовать такие разговорные функции, как корректная обработка прерываний и мгновенные ответы, сохраняя всю обработку аудио локальной.
📖 Read the full source: r/openclaw
👀 Смотрите также
КлонКоготь: Инструмент для облачного резервного копирования рабочих пространств OpenClaw
ClawClone — это инструмент для резервного копирования рабочих пространств OpenClaw в облако с помощью одной команды и их восстановления с помощью другой. Он был создан после того, как разработчик потерял месячные данные обучения.
Клодлитика: Самостоятельно размещаемая панель для отслеживания использования токенов кода и затрат в Claude
Claudlytics — это веб-сервер на Node.js, который читает локальные .jsonl файлы сессий Claude Code для отслеживания использования токенов и затрат в реальном времени. Он работает локально на 127.0.0.1 и доступен через SSH-туннель для удалённых серверов.
От Replit до локалки: Как один разработчик использовал Claude для создания StillHere — AI-компаньона с API
Разработчик создал StillHere.ink — AI-чат-приложение для общения в стиле компаньона с использованием личных API-ключей, после перехода с Replit на локальную разработку с Claude. Приложение включает память, дневниковые сводки, RAG, переключение моделей и инструменты контроля затрат.
Проект по реализации хуков Claude Code охватывает все 23 хука
Разработчик создал проект, полностью реализующий все 23 хука Claude code, с видео, объясняющим применение каждого хука, и доступным репозиторием на GitHub.