로컬 AI 에이전트, 오픈소스 서버로 STT 및 TTS 지연 시간 1초 미만 달성

저지연 로컬 AI 에이전트 구현

개발자가 클라우드 의존성 없이 로컬 AI 에이전트를 위한 대화형 지연 시간을 달성하는 서버 구현을 오픈소스로 공개했습니다. 이 설정은 STT와 TTS를 완전히 로컬 인프라에서 실행함으로써 일반적인 2-3초 대화 지연을 제거합니다.

기술 구현 세부사항

STT 시스템: VRAM 문제 없이 동시성을 처리하기 위해 하이브리드 스레드 관리 GPU 아키텍처를 구현한 맞춤형 브리지와 함께 Whisper large-v3-turbo를 사용합니다. 약 0.2초의 지연 시간을 달성합니다.

TTS 시스템: 로컬 서버에서 실행되는 Coqui-TTS를 OpenAI 호환 API와 함께 사용하며, 저지연 합성을 위해 특별히 최적화되었습니다. 약 250ms의 지연 시간을 달성합니다. 구현에는 Paul Bettany/Jarvis 목소리를 복제한 음성이 포함됩니다.

하드웨어 요구사항: 가속을 위해 NVIDIA RTX GPU가 탑재된 전용 노드가 필요합니다. 개발자는 이러한 속도를 달성하기 위해 GPU 가속이 필수적이라고 언급했습니다.

오픈소스 구성 요소

• Whisper STT 로컬 서버: https://github.com/fakehec/whisper-stt-local-server
• Coqui TTS 로컬 서버: https://github.com/fakehec/coqui-tts-local-server

개발자는 로컬 에이전트 구축을 위한 OpenClaw 통합 스크립트도 공유했습니다. 이 구현은 모든 오디오 처리를 로컬로 유지하면서 올바른 인터럽트 처리 및 즉각적인 응답과 같은 대화 기능을 가능하게 합니다.