Développeur Atteint une Latence STT/TTS Inférieure à la Seconde avec des Serveurs Locaux Whisper et Coqui-TTS

Un développeur a partagé des implémentations open source de serveur qui atteignent une latence inférieure à la seconde pour la reconnaissance vocale et la synthèse vocale dans des agents d'IA locaux, éliminant le délai conversationnel typiquement associé aux solutions basées sur le cloud.

Performances de référence

L'implémentation atteint :

• ~0,2 seconde de latence pour la reconnaissance vocale (STT)
• ~250 ms de latence pour la synthèse vocale (TTS)

Cela représente une amélioration significative par rapport aux temps d'attente de 2 à 3 secondes mentionnés comme le goulot d'étranglement précédent.

Implémentation technique

Serveur STT

• Construit avec Whisper large-v3-turbo
• Implémentation de pont personnalisée
• Architecture hybride à gestion de threads GPU pour la concurrence sans étouffement de la VRAM

Serveur TTS

• Utilise Coqui-TTS fonctionnant sur un serveur local
• API compatible OpenAI
• Optimisé pour une synthèse à faible latence
• Inclut une voix clonée de Paul Bettany/Jarvis

Configuration matérielle requise

• Nœud dédié avec GPU NVIDIA RTX
• L'accélération GPU est obligatoire pour ces vitesses

Composants open source

Le développeur a publié deux dépôts GitHub :

• Whisper STT Local Server
• Coqui TTS Local Server

Ceux-ci incluent des implémentations de serveur et des scripts d'intégration OpenClaw pour construire des agents locaux.

Résultats

L'agent présente désormais un comportement véritablement conversationnel avec :

• Gestion correcte des interruptions
• Des réponses quasi instantanées
• Aucune donnée audio envoyée à des API externes

Le développeur est disponible pour répondre aux questions sur la configuration du serveur, la gestion de la VRAM et l'intégration dans d'autres projets d'IA.