Дублёр: Обучаемый настольный агент, который осваивает задачи через демонстрацию
Что делает Understudy
Understudy — это обучаемый настольный агент, который управляет вашим компьютером как коллега-человек — обрабатывая GUI, браузер, командную строку, файловую систему и инструменты обмена сообщениями в одной локальной среде выполнения. Ключевая инновация — обучение на примере: вы выполняете задачу один раз, агент записывает видео с экрана вместе с семантическими событиями, извлекает намерение (а не просто координаты) и превращает это в повторно используемый навык.
Текущий статус реализации
Система спроектирована как пять уровней, с текущим статусом реализации:
- Уровень 1 (Работа с ПО нативно): Реализован сегодня на macOS. Управляет любым настольным приложением macOS с использованием 13 инструментов + скриншотная привязка + нативный ввод.
- Уровень 2 (Обучение на демонстрациях): Реализован и готов к использованию сегодня. Пользователь показывает задачу один раз — агент извлекает намерение, проверяет, обучается.
- Уровень 3 (Кристаллизованная память): Частично реализован. Агент накапливает опыт из ежедневного использования, закрепляет успешные пути.
- Уровень 4 (Оптимизация маршрутов): Частично реализован. Автоматически обнаруживает и переключается на более быстрые пути выполнения.
- Уровень 5 (Проактивная автономия): Остаётся долгосрочной целью. Замечает и действует в своём рабочем пространстве, не мешая пользователю.
Технические возможности
Understudy — это унифицированная среда выполнения для настольных систем, которая объединяет все пути выполнения в одном цикле агента, одной сессии, одном конвейере политик:
- GUI: 13 инструментов + скриншотная привязка + нативный ввод для любого настольного приложения macOS
- Браузер: Управляемый Playwright + ретранслятор расширения Chrome для любого веб-сайта с сессиями входа
- Командная строка: Инструмент bash с полным локальным доступом для CLI-инструментов, скриптов, файловой системы
- Веб: web_search + web_fetch для получения информации в реальном времени
- Память: Семантическая память между сессиями для постоянного контекста и предпочтений
- Обмен сообщениями: Поддержка 8 каналов
Как это работает на практике
В демонстрационном видео создатель обучает Understudy: поиск изображений в Google → загрузка фото → удаление фона в Pixelmator Pro → экспорт → отправка через Telegram. Затем просит сделать то же самое для Илона Маска. Воспроизведение — это не хрупкий макрос — опубликованный навык хранит шаги намерения, варианты маршрутов и подсказки GUI только как запасной вариант. Он может предпочитать более быстрые маршруты, когда они доступны, вместо повторения каждого шага GUI.
Установка и настройка
Текущая платформа: только macOS. Установка через npm:
npm install -g @understudy-ai/understudy
understudy wizardОпубликованный артефакт навыка из демонстрационного примера доступен по адресу examples/published-skills/taught-person-photo-cutout-bc88ec/SKILL.md для ознакомления.
Для кого это
Разработчики, которые работают с несколькими настольными приложениями и хотят автоматизировать повторяющиеся задачи без создания пользовательских интеграций или конструкторов рабочих процессов.
📖 Read the full source: HN AI Agents
👀 Смотрите также
SkyClaw: Автономная среда выполнения ИИ-агентов на Rust
SkyClaw — это автономная среда выполнения ИИ-агентов, созданная на Rust, с бинарным файлом размером 7,1 МБ, которая в режиме ожидания потребляет 14 МБ оперативной памяти и запускается менее чем за секунду. Она работает на основе пяти инженерных принципов, включая автономность, надежность и беспощадную эффективность.
Результаты тестирования небольших локальных моделей и моделей OpenRouter на задаче агентного преобразования текста в SQL
Разработчик протестировал несколько небольших локальных моделей и моделей OpenRouter с использованием пользовательского агентного бенчмарка text-to-SQL, который преобразует английские запросы в SQL с раундами отладки. Бенчмарк включает 25 вопросов, выполняется менее чем за 5 минут и выявляет лучшие модели, такие как kimi-k2.5 и варианты Qwen 3.5.
Плагин Pair Programmer добавляет в Claude Code живую трансляцию экрана, голосовое и аудио-сопровождение.
Разработчик создал плагин под названием Pair Programmer, который предоставляет Claude Code восприятие рабочего стола в реальном времени, захватывая потоки экрана, микрофона и системного аудио. Архитектура использует специализированные агенты, работающие параллельно для различных типов ввода, при этом индексация в настоящее время обрабатывается облачными моделями, но спроектирована так, чтобы быть независимой от модели.
Claude Hindsight: Инструмент наблюдаемости для сессий кодирования в Claude
Claude Hindsight — это открытый уровень наблюдаемости для Claude Code, который фиксирует вызовы инструментов, токены и ошибки в доступную для изучения панель управления. Создатель использовал его для рефакторинга открытого проекта за одну 11-часовую сессию с 733 вызовами инструментов и 692,8 млн токенов кэша.