Développeur Atteint une Latence STT/TTS Inférieure à la Seconde avec des Serveurs Locaux Whisper et Coqui-TTS
Un développeur a partagé des implémentations open source de serveur qui atteignent une latence inférieure à la seconde pour la reconnaissance vocale et la synthèse vocale dans des agents d'IA locaux, éliminant le délai conversationnel typiquement associé aux solutions basées sur le cloud.
Performances de référence
L'implémentation atteint :
- ~0,2 seconde de latence pour la reconnaissance vocale (STT)
- ~250 ms de latence pour la synthèse vocale (TTS)
Cela représente une amélioration significative par rapport aux temps d'attente de 2 à 3 secondes mentionnés comme le goulot d'étranglement précédent.
Implémentation technique
Serveur STT
- Construit avec Whisper large-v3-turbo
- Implémentation de pont personnalisée
- Architecture hybride à gestion de threads GPU pour la concurrence sans étouffement de la VRAM
Serveur TTS
- Utilise Coqui-TTS fonctionnant sur un serveur local
- API compatible OpenAI
- Optimisé pour une synthèse à faible latence
- Inclut une voix clonée de Paul Bettany/Jarvis
Configuration matérielle requise
- Nœud dédié avec GPU NVIDIA RTX
- L'accélération GPU est obligatoire pour ces vitesses
Composants open source
Le développeur a publié deux dépôts GitHub :
Ceux-ci incluent des implémentations de serveur et des scripts d'intégration OpenClaw pour construire des agents locaux.
Résultats
L'agent présente désormais un comportement véritablement conversationnel avec :
- Gestion correcte des interruptions
- Des réponses quasi instantanées
- Aucune donnée audio envoyée à des API externes
Le développeur est disponible pour répondre aux questions sur la configuration du serveur, la gestion de la VRAM et l'intégration dans d'autres projets d'IA.
📖 Read the full source: r/LocalLLaMA
👀 See Also
Crochet de PreToolUse Résout le Problème de Plantage d'Image de Code Claude
Un développeur a créé un crochet PreToolUse qui intercepte les appels de lecture de Claude Code sur les images, les convertit de manière sécurisée et les relaie via un sous-processus Haiku pour éviter les plantages d'erreur API 400 causés par des images problématiques.
Résultats de Benchmark : 331 Modèles GGUF Testés sur Mac Mini M4 16 Go
Un benchmark de 331 modèles GGUF sur un Mac Mini M4 avec 16 Go de RAM révèle seulement 11 modèles Pareto-optimaux, tous des architectures Mixture-of-Experts. Les modèles Mixture-of-Experts dominent les performances avec une médiane de 20,0 tokens/seconde contre 4,4 pour les modèles denses.
Agents de codage parallèles avec tmux et spécifications en Markdown
Manuel Schipper décrit un système pour exécuter 4 à 8 agents de codage en parallèle en utilisant tmux, des fichiers Markdown, des alias bash et six commandes slash. La configuration utilise des spécifications Feature Design (FD) en Markdown suivies à travers un cycle de vie en 8 étapes.
CC-Ledger : Suivi des coûts de Claude Code par session et par PR avec SQLite local
CC-Ledger est un binaire Rust qui s'accroche à Claude Code, enregistrant chaque tour dans une base SQLite locale. Repérez les sessions hors de contrôle en direct et obtenez une ventilation des coûts par PR sans clé API. Comprend une barre de menus macOS, un tableau de bord web et une interface CLI.