Suplente: Un Agente de Escritorio Enseñable Que Aprende Tareas por Demostración
Qué hace Understudy
Understudy es un agente de escritorio enseñable que opera tu computadora como un colega humano — manejando GUI, navegador, shell, sistema de archivos y herramientas de mensajería en un solo entorno de ejecución local. La innovación central es enseñar mediante demostración: realizas una tarea una vez, el agente graba video de pantalla más eventos semánticos, extrae la intención (no solo coordenadas), y la convierte en una habilidad reutilizable.
Estado actual de implementación
El sistema está diseñado como cinco capas, con estado de implementación actual:
- Capa 1 (Operar software nativamente): Implementado hoy en macOS. Opera cualquier aplicación de escritorio de macOS usando 13 herramientas + fundamentación de captura de pantalla + entrada nativa.
- Capa 2 (Aprender de demostraciones): Implementado y usable hoy. El usuario muestra una tarea una vez — el agente extrae la intención, valida, aprende.
- Capa 3 (Memoria cristalizada): Parcialmente implementado. El agente acumula experiencia del uso diario, solidifica caminos exitosos.
- Capa 4 (Optimización de rutas): Parcialmente implementado. Descubre y actualiza automáticamente a rutas de ejecución más rápidas.
- Capa 5 (Autonomía proactiva): Sigue siendo la dirección a largo plazo. Notar y actuar en su propio espacio de trabajo sin interrumpir al usuario.
Capacidades técnicas
Understudy es un entorno de ejecución de escritorio unificado que mezcla cada ruta de ejecución en un ciclo de agente, una sesión, una tubería de políticas:
- GUI: 13 herramientas + fundamentación de captura de pantalla + entrada nativa para cualquier aplicación de escritorio de macOS
- Navegador: Playwright gestionado + relé de extensión de Chrome para cualquier sitio web con sesiones de inicio de sesión
- Shell: herramienta bash con acceso local completo para herramientas CLI, scripts, sistema de archivos
- Web: web_search + web_fetch para recuperación de información en tiempo real
- Memoria: Memoria semántica entre sesiones para contexto persistente y preferencias
- Mensajería: Soporte para 8 canales
Cómo funciona en la práctica
En el video de demostración, el creador enseña a Understudy a: buscar en Google Imágenes → descargar una foto → eliminar fondo en Pixelmator Pro → exportar → enviar vía Telegram. Luego le pide que haga lo mismo para Elon Musk. La reproducción no es un macro frágil — la habilidad publicada almacena pasos de intención, opciones de ruta, y sugerencias GUI solo como respaldo. Puede preferir rutas más rápidas cuando estén disponibles en lugar de repetir cada paso GUI.
Instalación y configuración
Plataforma actual: solo macOS. La instalación es vía npm:
npm install -g @understudy-ai/understudy
understudy wizardEl artefacto de habilidad publicado de la demostración de exhibición está disponible en examples/published-skills/taught-person-photo-cutout-bc88ec/SKILL.md para inspección.
Para quién es
Desarrolladores que trabajan en múltiples aplicaciones de escritorio y quieren automatizar tareas repetitivas sin construir integraciones personalizadas o creadores de flujos de trabajo.
📖 Read the full source: HN AI Agents
👀 Ver también
GLM 5 en Mac M3: Observaciones de Rendimiento para Codificación Agéntica
Un usuario informa ejecutar GLM 5 mediante cuantización de 4 bits de MLX en un Mac M3 con 512 GB de RAM, encontrándolo utilizable para programación agéntica con contextos menores a 50 mil tokens, pero notando ralentizaciones significativas más allá de ese umbral.
El Complemento Claude Compact Guard Utiliza el Nuevo Gancho PostCompact para Preservar el Contexto
Un desarrollador ha lanzado claude-compact-guard, un complemento que guarda automáticamente el contexto crítico antes de que el comando /compact de Claude lo destruya, y luego lo reinyecta todo después. Utiliza el nuevo gancho PostCompact de Anthropic, lanzado hace 4 días.
Conectar el Código de Claude a Aplicaciones de Chat para Interacción Remota
Un proyecto de GitHub llamado cc-connect conecta Claude Code a plataformas de mensajería como Slack y Telegram, permitiendo la interacción remota sin exponer tu máquina local. El agente se ejecuta localmente mientras un pequeño puente retransmite mensajes entre el agente y las aplicaciones de chat.
Gemma 4 E2B Probado como Coordinador Multi-Agente en un Framework de TypeScript
Un desarrollador probó Gemma 4 E2B como coordinador en una configuración multiagente utilizando el framework TypeScript open-multi-agent. El modelo descompuso exitosamente tareas en JSON, asignó agentes, llamó herramientas como bash y operaciones de archivos, y sintetizó resultados.