Entwickler erreicht Sub-Sekunden-Latenz bei STT/TTS mit lokalen Whisper- und Coqui-TTS-Servern
Ein Entwickler hat Open-Source-Server-Implementierungen geteilt, die eine Latenz von unter einer Sekunde für Spracherkennung und Sprachsynthese in lokalen KI-Agenten erreichen und damit die typische Konversationsverzögerung cloudbasierter Lösungen beseitigen.
Leistungsbenchmarks
Die Implementierung erreicht:
- ~0,2 Sekunden Latenz für Spracherkennung (STT)
- ~250 ms Latenz für Sprachsynthese (TTS)
Dies stellt eine deutliche Verbesserung gegenüber den zuvor genannten 2-3 Sekunden Wartezeiten als Engpass dar.
Technische Implementierung
STT-Server
- Erstellt mit Whisper large-v3-turbo
- Benutzerdefinierte Bridge-Implementierung
- Hybride GPU-Architektur mit Thread-Management für Nebenläufigkeit ohne VRAM-Engpässe
TTS-Server
- Verwendet Coqui-TTS auf einem lokalen Server
- OpenAI-kompatible API
- Für niedrige Latenz bei der Synthese optimiert
- Beinhaltet geklonte Paul Bettany/Jarvis-Stimme
Hardware-Anforderungen
- Dedizierter Knoten mit NVIDIA RTX GPU
- GPU-Beschleunigung ist für diese Geschwindigkeiten zwingend erforderlich
Open-Source-Komponenten
Der Entwickler hat zwei GitHub-Repositories veröffentlicht:
Diese beinhalten Server-Implementierungen und OpenClaw-Integrationsskripte zum Aufbau lokaler Agenten.
Ergebnisse
Der Agent zeigt nun wirklich konversationelles Verhalten mit:
- Korrekter Unterbrechungsbehandlung
- Fast sofortigen Antworten
- Keiner Übertragung von Audiodaten an externe APIs
Der Entwickler steht für Fragen zur Server-Einrichtung, VRAM-Verwaltung und Integration in andere KI-Projekte zur Verfügung.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Visual Studio 2022-Erweiterung fügt native Ollama-Integration für lokale LLMs hinzu
Eine kostenlose Erweiterung für Visual Studio 2022 verbindet sich direkt mit lokalen Ollama-Endpunkten und ermöglicht private KI-Codierungsunterstützung, ohne zwischen Tools wechseln zu müssen. Sie unterstützt Modelle wie DeepSeek und Llama 3 mit Cloud-Fallback-Optionen.
Claude Code v2.1.166: Fallback-Modelle, globale Ablehnungsregeln, Sitzungsübergreifende Härtung
Claude Code v2.1.166 führt bis zu 3 Fallback-Modelle ein, glob-Muster in Ablehnungsregeln, gehärtetes sessionsübergreifendes Messaging und Korrekturen für Terminal-Flackern, verwaiste Prozesse und mehr.
Git Pre-Commit-Hook verhindert, dass KI-Coding-Agents veraltete Dokumentation committen.
Ein Entwickler hat einen Git Pre-Commit-Hook erstellt, der Commits blockiert, wenn Dokumentationsdateien veraltet sind. Dies behebt speziell Probleme mit KI-Codierungsagenten wie Claude Code, Cursor, Windsurf und Copilot. Das Tool beendet mit Fehlercode 1, um KI-Agenten zu zwingen, die Dokumentation zu aktualisieren, bevor sie fortfahren.
Axe: Ein 12-MB-CLI für Single-Purpose-LLM-Agenten
Axe ist eine schlanke Go-Binärdatei, die fokussierte KI-Agenten ausführt, die in TOML-Dateien definiert sind. Es behandelt Agenten wie Unix-Programme und unterstützt stdin-Piping, Sub-Agenten-Delegation und Multi-Provider-LLM-Integration.