Voxray-AI: 실시간 음성 에이전트 Go 백엔드 파이프라인

Go 기반 프로덕션 음성 에이전트 파이프라인

Voxray-AI는 WebSocket 또는 WebRTC를 통해 클라이언트 오디오를 처리하고 STT → LLM → TTS를 거쳐 오디오 출력을 반환하는 Go의 완전한 스트리밍 파이프라인을 제공합니다. 이 시스템은 프로덕션 등급 서버와 높은 동시성 음성 워크로드를 위해 설계되었습니다.

전송 옵션

시스템은 여러 전송 메커니즘을 지원합니다:

WebSocket - /ws에서 RTVI 직렬화기(?rtvi=1) 및 Protobuf(?format=protobuf) 지원
WebRTC - /webrtc/offer에서 완전한 SDP 오퍼/응답, 구성 가능한 STUN/TURN, Opus 인코딩 지원(CGO 빌드 필요)
전화 통신 러너 전송: Twilio, Telnyx, Plivo, Exotel, LiveKit, Daily.co

플러그형 제공업체

모든 구성 요소는 설정을 통해 교체 가능합니다:

STT 제공업체: OpenAI, Groq, Sarvam, Google, AWS
LLM 제공업체: OpenAI, Anthropic, Groq, 기타
TTS 제공업체: OpenAI, Google, AWS Polly, Sarvam

설정 예시

최소 설정 예시:

{"transport": "both", "stt": { "provider": "groq", "model": "whisper-large-v3" }, "llm": { "provider": "anthropic", "model": "claude-3-5-haiku" }, "tts": { "provider": "google", "voice": "en-US-Neural2-F" }}

턴 전환 및 음성 활동 감지 설정:

{"turn_detection": "silence", "vad_type": "silero", "vad_confidence": 0.7, "vad_start_secs_vad": 0.2, "vad_stop_secs": 0.8, "turn_max_duration_secs": 30, "user_idle_timeout_secs": 60}

관측 가능성 및 저장소

/metrics 엔드포인트 - Prometheus용(요청 수, 지연 시간 히스토그램, 활성 연결 게이지)
녹음: 구성 가능한 작업자 풀 및 형식으로 S3에 전체 세션 오디오 저장
대본: 구성 가능한 테이블로 Postgres 또는 MySQL에 메시지별 저장
/health 및 /ready 엔드포인트 - /ready에서 선택적 Redis 세션 저장소 확인 포함

보안 기능

server_api_key - Authorization: Bearer 또는 X-API-Key를 통해 /ws, /webrtc/offer, /start, /sessions/* 접근 제어
CORS 허용 목록 구성
TLS 인증서/키 구성
12-factor 스타일: JSON 설정 + 환경 변수 재정의

이러한 유형의 백엔드는 프로덕션 준비 인프라와 함께 여러 AI 서비스를 통합해야 하는 실시간 음성 애플리케이션을 구축하는 개발자에게 유용합니다.

📖 전체 소스 읽기: r/LocalLLaMA