Agent d'IA local atteint une latence STT et TTS inférieure à la seconde avec des serveurs open source

Implémentation d'un agent IA local à faible latence

Un développeur a publié en open source des implémentations serveur qui permettent d'atteindre une latence conversationnelle pour les agents IA locaux sans dépendances cloud. Cette configuration élimine le délai conversationnel typique de 2 à 3 secondes en exécutant la reconnaissance vocale (STT) et la synthèse vocale (TTS) entièrement sur une infrastructure locale.

Détails techniques de l'implémentation

Système STT : Utilise Whisper large-v3-turbo avec un pont personnalisé implémentant une architecture hybride de threads gérés par GPU pour gérer la concurrence sans problèmes de VRAM. Atteint une latence d'environ 0,2 seconde.

Système TTS : Utilise Coqui-TTS exécuté sur un serveur local avec une API compatible OpenAI, optimisé spécifiquement pour une synthèse à faible latence. Atteint une latence d'environ 250 ms. L'implémentation inclut une voix clonée de Paul Bettany/Jarvis.

Configuration matérielle requise : Nécessite un nœud dédié avec un GPU NVIDIA RTX pour l'accélération. Le développeur note que l'accélération GPU est obligatoire pour atteindre ces vitesses.

Composants open source

• Serveur local Whisper STT : https://github.com/fakehec/whisper-stt-local-server
• Serveur local Coqui TTS : https://github.com/fakehec/coqui-tts-local-server

Le développeur a également partagé des scripts d'intégration OpenClaw pour créer des agents locaux. Cette implémentation permet des fonctionnalités conversationnelles comme la gestion correcte des interruptions et des réponses instantanées, tout en gardant tout le traitement audio local.