Desarrollador Logra Latencia de STT/TTS en Menos de un Segundo con Servidores Locales de Whisper y Coqui-TTS
Un desarrollador ha compartido implementaciones de servidor de código abierto que logran una latencia inferior a un segundo para la conversión de voz a texto y texto a voz en agentes de IA locales, eliminando el retraso conversacional típicamente asociado con soluciones basadas en la nube.
Puntos de Referencia de Rendimiento
La implementación logra:
- ~0.2 segundos de latencia para voz a texto (STT)
- ~250ms de latencia para texto a voz (TTS)
Esto representa una mejora significativa sobre los tiempos de espera de 2-3 segundos mencionados como el cuello de botella anterior.
Implementación Técnica
Servidor STT
- Construido usando Whisper large-v3-turbo
- Implementación de puente personalizada
- Arquitectura GPU gestionada por híbridos para concurrencia sin asfixia de VRAM
Servidor TTS
- Utiliza Coqui-TTS ejecutándose en un servidor local
- API compatible con OpenAI
- Optimizado para síntesis de baja latencia
- Incluye voz clonada de Paul Bettany/Jarvis
Requisitos de Hardware
- Nodo dedicado con GPU NVIDIA RTX
- La aceleración por GPU es obligatoria para estas velocidades
Componentes de Código Abierto
El desarrollador ha publicado dos repositorios de GitHub:
Estos incluyen implementaciones de servidor y scripts de integración OpenClaw para construir agentes locales.
Resultados
El agente ahora exhibe un comportamiento verdaderamente conversacional con:
- Manejo correcto de interrupciones
- Respuestas casi instantáneas
- Cero datos de audio enviados a APIs externas
El desarrollador está disponible para responder preguntas sobre la configuración del servidor, gestión de VRAM e integración en otros proyectos de IA.
📖 Read the full source: r/LocalLLaMA
👀 Ver también
Integrando Agentes LLM Locales con ComfyUI para la Generación de Imágenes por Lotes en Lenguaje Natural
Un desarrollador comparte cómo conectó su agente local de OpenClaw a ComfyUI, permitiendo comandos en lenguaje natural para flujos de trabajo de generación de imágenes por lotes. La integración utiliza una habilidad personalizada del agente que mapea solicitudes en inglés a JSON de flujo de trabajo de ComfyUI y maneja la comunicación API.
Exportador de Chat de IA: Una Extensión de Chrome para Conversaciones de Claude en PDF de Alta Fidelidad
Un desarrollador creó AI Chat Exporter, una extensión de Chrome que preserva matemáticas, código e imágenes al exportar conversaciones de Claude a PDF. La herramienta utiliza un motor de renderizado local basado en navegador desarrollado con Claude 3.5 Sonnet para manejar el formato progresivo de markdown y LaTeX.
Investigador Desarrolla Habilidad de Verificación de Veracidad para Código Claude, Encuentra Alucinaciones en su Propia Documentación
Un investigador creó una habilidad de Claude Code llamada /veracity-tweaked-555 que descompone documentos en afirmaciones atómicas y verifica cada una mediante búsqueda web utilizando 16 agentes paralelos en 4 oleadas. Al auditarse a sí misma, la habilidad obtuvo 62/100 debido a estadísticas fabricadas y afirmaciones exageradas en su propia documentación.
El Benchmark PhAIL Evalúa Modelos VLA en Tareas Reales de Robots de Almacén
PhAIL es un punto de referencia para robots reales que evalúa cuatro modelos de visión-lenguaje-acción en la recolección de pedidos de contenedor a contenedor utilizando un robot Franka FR3. El mejor modelo logró 64 unidades por hora, en comparación con 330 UPH para la teleoperación humana y más de 1,300 UPH para el trabajo manual humano.