Дублёр: Обучаемый настольный агент, который осваивает задачи через демонстрацию

Что делает Understudy

Understudy — это обучаемый настольный агент, который управляет вашим компьютером как коллега-человек — обрабатывая GUI, браузер, командную строку, файловую систему и инструменты обмена сообщениями в одной локальной среде выполнения. Ключевая инновация — обучение на примере: вы выполняете задачу один раз, агент записывает видео с экрана вместе с семантическими событиями, извлекает намерение (а не просто координаты) и превращает это в повторно используемый навык.

Текущий статус реализации

Система спроектирована как пять уровней, с текущим статусом реализации:

• Уровень 1 (Работа с ПО нативно): Реализован сегодня на macOS. Управляет любым настольным приложением macOS с использованием 13 инструментов + скриншотная привязка + нативный ввод.
• Уровень 2 (Обучение на демонстрациях): Реализован и готов к использованию сегодня. Пользователь показывает задачу один раз — агент извлекает намерение, проверяет, обучается.
• Уровень 3 (Кристаллизованная память): Частично реализован. Агент накапливает опыт из ежедневного использования, закрепляет успешные пути.
• Уровень 4 (Оптимизация маршрутов): Частично реализован. Автоматически обнаруживает и переключается на более быстрые пути выполнения.
• Уровень 5 (Проактивная автономия): Остаётся долгосрочной целью. Замечает и действует в своём рабочем пространстве, не мешая пользователю.

Технические возможности

Understudy — это унифицированная среда выполнения для настольных систем, которая объединяет все пути выполнения в одном цикле агента, одной сессии, одном конвейере политик:

• GUI: 13 инструментов + скриншотная привязка + нативный ввод для любого настольного приложения macOS
• Браузер: Управляемый Playwright + ретранслятор расширения Chrome для любого веб-сайта с сессиями входа
• Командная строка: Инструмент bash с полным локальным доступом для CLI-инструментов, скриптов, файловой системы
• Веб: web_search + web_fetch для получения информации в реальном времени
• Память: Семантическая память между сессиями для постоянного контекста и предпочтений
• Обмен сообщениями: Поддержка 8 каналов

Как это работает на практике

В демонстрационном видео создатель обучает Understudy: поиск изображений в Google → загрузка фото → удаление фона в Pixelmator Pro → экспорт → отправка через Telegram. Затем просит сделать то же самое для Илона Маска. Воспроизведение — это не хрупкий макрос — опубликованный навык хранит шаги намерения, варианты маршрутов и подсказки GUI только как запасной вариант. Он может предпочитать более быстрые маршруты, когда они доступны, вместо повторения каждого шага GUI.

Установка и настройка

Текущая платформа: только macOS. Установка через npm:

npm install -g @understudy-ai/understudy
understudy wizard

Опубликованный артефакт навыка из демонстрационного примера доступен по адресу examples/published-skills/taught-person-photo-cutout-bc88ec/SKILL.md для ознакомления.

Для кого это

Разработчики, которые работают с несколькими настольными приложениями и хотят автоматизировать повторяющиеся задачи без создания пользовательских интеграций или конструкторов рабочих процессов.