Agent d'IA local atteint une latence STT et TTS inférieure à la seconde avec des serveurs open source
Implémentation d'un agent IA local à faible latence
Un développeur a publié en open source des implémentations serveur qui permettent d'atteindre une latence conversationnelle pour les agents IA locaux sans dépendances cloud. Cette configuration élimine le délai conversationnel typique de 2 à 3 secondes en exécutant la reconnaissance vocale (STT) et la synthèse vocale (TTS) entièrement sur une infrastructure locale.
Détails techniques de l'implémentation
Système STT : Utilise Whisper large-v3-turbo avec un pont personnalisé implémentant une architecture hybride de threads gérés par GPU pour gérer la concurrence sans problèmes de VRAM. Atteint une latence d'environ 0,2 seconde.
Système TTS : Utilise Coqui-TTS exécuté sur un serveur local avec une API compatible OpenAI, optimisé spécifiquement pour une synthèse à faible latence. Atteint une latence d'environ 250 ms. L'implémentation inclut une voix clonée de Paul Bettany/Jarvis.
Configuration matérielle requise : Nécessite un nœud dédié avec un GPU NVIDIA RTX pour l'accélération. Le développeur note que l'accélération GPU est obligatoire pour atteindre ces vitesses.
Composants open source
- Serveur local Whisper STT :
https://github.com/fakehec/whisper-stt-local-server - Serveur local Coqui TTS :
https://github.com/fakehec/coqui-tts-local-server
Le développeur a également partagé des scripts d'intégration OpenClaw pour créer des agents locaux. Cette implémentation permet des fonctionnalités conversationnelles comme la gestion correcte des interruptions et des réponses instantanées, tout en gardant tout le traitement audio local.
📖 Lire la source complète : r/openclaw
👀 See Also
Cognithor v0.40.0 ajoute une identité persistante aux agents IA avec des contraintes éthiques.
Cognithor v0.40.0 introduit le Protocole d'Esprit Immortel, offrant aux agents d'IA locaux une identité persistante entre les sessions avec 7 ancres éthiques intégrées et des cycles de rêve pour la consolidation de la mémoire. La mise à jour ajoute 9 488 lignes de code et fonctionne à 100 % localement.
Mémoire relationnelle pour LLM : un système à trois couches modélise les relations utilisateur
Un outil Python open-source qui ajoute une mémoire relationnelle aux LLM en modélisant les relations utilisateur-IA à travers sept dimensions psychologiques, utilisant une structure narrative à trois couches au lieu d'un stockage plat de faits.
Manifest Router ajoute la prise en charge des abonnements ZAI pour la gestion des modèles OpenClaw
Le routeur Manifest prend désormais en charge les abonnements ZAI, permettant à tous les modèles ZAI d'apparaître dans les niveaux de routage avec une sélection automatique de modèle par requête. L'outil est en version bêta, gratuit, open source, et inclut un tableau de bord pour suivre les coûts par agent, message et modèle.
MuninnDB ajoute Dream Engine pour la consolidation de la mémoire LLM avec isolation des coffres-forts.
MuninnDB, une base de données de mémoire cognitive basée sur Go, intègre désormais un Moteur de Rêve qui effectue une consolidation de mémoire pilotée par LLM entre les sessions en utilisant des seuils de déduplication et une revue sémantique. Le système propose des niveaux de confiance de coffre-fort pour l'isolation des données et fonctionne localement avec Ollama.