Локальные модели Qwen достигают автоматизации браузера с пошаговым планированием и компактным DOM.

Пошаговое планирование преодолевает неудачи предварительного планирования

Разработчик обнаружил, что просьба к моделям придумать полный многошаговый план до просмотра реального состояния страницы работает на знакомых сайтах, но быстро ломается при неожиданных элементах. Лучше сработало пошаговое планирование, при котором модель перепланирует на основе текущего снимка DOM на каждом шаге.

Пример процесса на Ace Hardware

Тестируемый процесс с Qwen 8B в качестве планировщика и 4B в качестве исполнителя на Ace Hardware (сайт, для которого у модели не было предыдущих задач) завершил полный процесс добавления в корзину без использования моделей компьютерного зрения. Пошаговый подход выглядел так:

• Шаг 1: увидеть поле поиска → ВВЕСТИ "газонокосилка"
• Шаг 2: увидеть результаты → НАЖАТЬ Добавить в корзину
• Шаг 3: появляется выдвижная панель → закрыть её
• Шаг 4: корзина видна → НАЖАТЬ Просмотреть корзину
• Шаг 5: ГОТОВО

Компактное представление DOM позволяет использовать небольшие модели

Модель никогда не видит исходный HTML или скриншоты — только семантическое табличное представление:

id|role|text|importance|bg|clickable|nearby_text
665|button|Proceed to checkout|675|orange|1|
761|button|Add to cart|720|yellow|1|$299.99
1488|link|ThinkPad E16|478|none|1|Laptop 16"

Это позволяет исполнителю 4B выбирать идентификатор элемента из короткого списка. Визуальные подходы тратят 2–3K токенов на скриншот, легко 50–100K+ для полного процесса, в то время как компактные снимки используют всего ~15K для той же задачи.

Обработка модальных окон критична для успеха

После каждого клика, если DOM внезапно увеличивается, агент сканирует шаблоны закрытия (close, ×, no thanks и т.д.) перед повторным планированием. Это исправило многие сбои, которые казались «плохим рассуждением», но на самом деле были скрытыми наложениями.

Разработчик отмечает, что ему интересно, замечают ли другие, что пошаговое планирование превосходит предварительное планирование, как только сайты становятся незнакомыми.