Lokaler KI-Agent erreicht Sub-Sekunden-STT- und TTS-Latenz mit Open-Source-Servern

Implementierung eines lokalen KI-Agenten mit geringer Latenz

Ein Entwickler hat Server-Implementierungen quelloffen gemacht, die konversationsfähige Latenz für lokale KI-Agenten ohne Cloud-Abhängigkeiten erreichen. Das Setup beseitigt die typische 2-3 Sekunden lange Konversationsverzögerung, indem STT und TTS vollständig auf lokaler Infrastruktur laufen.

Details zur technischen Implementierung

STT-System: Nutzt Whisper large-v3-turbo mit einer benutzerdefinierten Brücke, die eine hybride, thread-verwaltete GPU-Architektur implementiert, um Parallelität ohne VRAM-Probleme zu handhaben. Erreicht etwa 0,2 Sekunden Latenz.

TTS-System: Nutzt Coqui-TTS, das auf einem lokalen Server mit OpenAI-kompatibler API läuft, speziell für Synthese mit geringer Latenz optimiert. Erreicht etwa 250ms Latenz. Die Implementierung enthält eine geklonte Paul Bettany/Jarvis-Stimme.

Hardware-Anforderungen: Erfordert einen dedizierten Knoten mit NVIDIA RTX GPU zur Beschleunigung. Der Entwickler merkt an, dass GPU-Beschleunigung für diese Geschwindigkeiten zwingend erforderlich ist.

Quelloffene Komponenten

• Whisper STT Local Server: https://github.com/fakehec/whisper-stt-local-server
• Coqui TTS Local Server: https://github.com/fakehec/coqui-tts-local-server

Der Entwickler hat auch OpenClaw-Integrationsskripte zum Aufbau lokaler Agenten geteilt. Die Implementierung ermöglicht konversationsfähige Funktionen wie korrekte Unterbrechungsbehandlung und sofortige Antworten, während die gesamte Audioverarbeitung lokal bleibt.