La aplicación ClawTalk para iOS permite chatear por voz con agentes de IA OpenClaw autoalojados.
Interfaz de Voz Nativa para iOS para OpenClaw
ClawTalk es una aplicación de código abierto para iOS que permite la interacción por voz con agentes de IA OpenClaw autohospedados. La aplicación proporciona una interfaz push-to-talk donde los usuarios pueden hablar con sus agentes y recibir respuestas tanto en texto como habladas.
Características Técnicas Principales
- Procesamiento de Voz en el Dispositivo: La conversión de voz a texto se ejecuta localmente usando WhisperKit, aprovechando el Motor Neuronal de Apple para mantener los datos de audio en el teléfono
- Transmisión de Respuestas en Tiempo Real: Las respuestas de los agentes se transmiten en tiempo real con soporte para renderizado de markdown
- Múltiples Opciones de TTS: Las respuestas pueden ser habladas usando ElevenLabs, TTS de OpenAI, o la síntesis de voz integrada de Apple
- Soporte Multiagente: Soporta conversaciones separadas con diferentes agentes/modelos a través de canales multiagente
- Panel de Herramientas: Incluye un panel para interactuar con los componentes internos del agente
- Soporte Multimedia: Soporta archivos adjuntos de imágenes en las conversaciones
Detalles de Implementación
La aplicación es completamente de código abierto bajo la licencia MIT y está disponible en GitHub. Está diseñada específicamente para usuarios que ejecutan OpenClaw para sus configuraciones de LLM autohospedadas, proporcionando una interfaz de voz móvil para complementar las interacciones basadas en texto existentes.
📖 Read the full source: r/LocalLLaMA
👀 Ver también
Markdown como Protocolo para Interfaz de Usuario Agéntica con Ejecución en Flujo
Un prototipo utiliza Markdown como protocolo unificado para que los agentes de IA transmitan texto, código ejecutable y datos en una sola respuesta. Cuenta con ejecución en streaming donde el código se ejecuta declaración por declaración a medida que llega y una primitiva mount() para crear interfaces de usuario React con flujo de datos entre cliente, servidor y LLM.
La habilidad OpenClaw reduce los tokens del árbol de accesibilidad de 600K a 1.3K para sitios con muchos anuncios.
Un desarrollador creó una habilidad de OpenClaw que utiliza clasificación de elementos basada en ML para podar árboles de accesibilidad, reduciendo slickdeals.com de ~598K tokens a ~1.3K tokens al mantener solo los ~50 elementos accionables principales.
Operador Zot Chrome: Deja que tu agente de IA en terminal controle el navegador mediante el panel lateral
Una extensión de Chrome + puente local que permite a zot, un agente de IA de codificación en terminal, controlar pestañas del navegador mediante una herramienta `browser_action`. Se instala con dos comandos, sin modificar zot.
DoomVLM: Herramienta de Código Abierto para Probar Modelos de Lenguaje Visual en Combates a Muerte de Doom
DoomVLM ahora es de código abierto como un único cuaderno Jupyter que te permite probar modelos de lenguaje visual jugando Doom mediante APIs compatibles con OpenAI. La herramienta soporta modos de combate a muerte donde hasta 4 modelos pueden competir, con opciones de configuración completas para instrucciones del sistema, descripciones de herramientas y parámetros de muestreo.