개발자가 로컬 Whisper와 Coqui-TTS 서버로 1초 미만의 STT/TTS 지연 시간 달성

한 개발자가 로컬 AI 에이전트에서 음성-텍스트 및 텍스트-음성 변환에 대해 1초 미만의 지연 시간을 달성하는 오픈소스 서버 구현체를 공유했으며, 이는 일반적으로 클라우드 기반 솔루션과 관련된 대화 지연을 제거합니다.

성능 벤치마크

이 구현체는 다음과 같은 성능을 달성합니다:

• 음성-텍스트 변환(STT)에 약 0.2초 지연 시간
• 텍스트-음성 변환(TTS)에 약 250ms 지연 시간

이는 이전 병목 현상으로 언급된 2-3초 대기 시간에 비해 상당한 개선을 나타냅니다.

기술적 구현

STT 서버

• Whisper large-v3-turbo를 사용하여 구축됨
• 사용자 정의 브리지 구현
• VRAM 과부하 없이 동시성을 위한 하이브리드 스레드 관리 GPU 아키텍처

TTS 서버

• 로컬 서버에서 실행되는 Coqui-TTS 사용
• OpenAI 호환 API
• 저지연 합성을 위해 최적화됨
• 복제된 Paul Bettany/Jarvis 음성 포함

하드웨어 요구사항

• NVIDIA RTX GPU가 장착된 전용 노드
• 이러한 속도를 위해 GPU 가속이 필수적임

오픈소스화된 구성 요소

개발자는 두 개의 GitHub 저장소를 공개했습니다:

• Whisper STT Local Server
• Coqui TTS Local Server

여기에는 서버 구현체와 로컬 에이전트 구축을 위한 OpenClaw 통합 스크립트가 포함되어 있습니다.

결과

이제 에이전트는 다음과 같은 진정한 대화형 동작을 보여줍니다:

• 올바른 인터럽트 처리
• 거의 즉각적인 응답
• 외부 API로 전송되는 오디오 데이터 없음

개발자는 서버 설정, VRAM 관리 및 다른 AI 프로젝트 통합에 관한 질문에 답변할 수 있습니다.