Entwickler erreicht Sub-Sekunden-Latenz bei STT/TTS mit lokalen Whisper- und Coqui-TTS-Servern
Ein Entwickler hat Open-Source-Server-Implementierungen geteilt, die eine Latenz von unter einer Sekunde für Spracherkennung und Sprachsynthese in lokalen KI-Agenten erreichen und damit die typische Konversationsverzögerung cloudbasierter Lösungen beseitigen.
Leistungsbenchmarks
Die Implementierung erreicht:
- ~0,2 Sekunden Latenz für Spracherkennung (STT)
- ~250 ms Latenz für Sprachsynthese (TTS)
Dies stellt eine deutliche Verbesserung gegenüber den zuvor genannten 2-3 Sekunden Wartezeiten als Engpass dar.
Technische Implementierung
STT-Server
- Erstellt mit Whisper large-v3-turbo
- Benutzerdefinierte Bridge-Implementierung
- Hybride GPU-Architektur mit Thread-Management für Nebenläufigkeit ohne VRAM-Engpässe
TTS-Server
- Verwendet Coqui-TTS auf einem lokalen Server
- OpenAI-kompatible API
- Für niedrige Latenz bei der Synthese optimiert
- Beinhaltet geklonte Paul Bettany/Jarvis-Stimme
Hardware-Anforderungen
- Dedizierter Knoten mit NVIDIA RTX GPU
- GPU-Beschleunigung ist für diese Geschwindigkeiten zwingend erforderlich
Open-Source-Komponenten
Der Entwickler hat zwei GitHub-Repositories veröffentlicht:
Diese beinhalten Server-Implementierungen und OpenClaw-Integrationsskripte zum Aufbau lokaler Agenten.
Ergebnisse
Der Agent zeigt nun wirklich konversationelles Verhalten mit:
- Korrekter Unterbrechungsbehandlung
- Fast sofortigen Antworten
- Keiner Übertragung von Audiodaten an externe APIs
Der Entwickler steht für Fragen zur Server-Einrichtung, VRAM-Verwaltung und Integration in andere KI-Projekte zur Verfügung.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Qwen3.5-35B-A3B-UD-Q6_K_XL in Produktionsentwicklungsworkflows getestet
Ein Entwickler testete das Qwen3.5-35B-A3B-UD-Q6_K_XL-Modell in mehreren realen Kundenprojekten und erzielte solide Leistung mit Benchmarks von 1504pp2048 und 47,71 tg256 sowie Token-Geschwindigkeiten von 80tps auf einer einzelnen GPU.
Omnicoder-9B-Leistungsbewertung: Geschwindigkeit vs. Probleme beim Tool-Aufruf
Omnicoder-9B, ein auf Codierung spezialisiertes Modell, das auf Qwen3.5 9B mit Ausgaben von Opus 4.6, GPT 5.4, GPT 5.3 Codex und Gemini 3.1 Pro feinabgestimmt wurde, zeigt starke Leistung auf mittlerer Hardware, hat jedoch Probleme mit Werkzeugaufrufen in IDEs.
Skales: Desktop-KI-Agent mit Ollama-Unterstützung, 300 MB Leerlauf-RAM
Skales ist eine native Electron-Desktop-App, die einen autonomen KI-Agenten bereitstellt, mit .exe/.dmg-Installern arbeitet, mit Ollama für lokale Inferenz oder Cloud-Anbietern funktioniert und etwa 300 MB Leerlauf-RAM verbraucht, wobei Daten lokal in ~/.skales-data gespeichert werden.
Paralleler Agenten-Orchestrator für Claude Code unter Verwendung von Git Worktrees
Ein Entwickler hat einen parallelen Orchestrator erstellt, der Git-Worktrees nutzt, um isolierte Umgebungen für Claude Code-Agenten zu schaffen und so das Problem von gemeinsam genutzten Arbeitsverzeichnissen zu lösen, die zu defekten Apps und unübersichtlichen Git-Status führen.