LumaBrowser: Браузер на Electron передает парсинг DOM локальным LLM для AI-агентов

Что делает LumaBrowser

LumaBrowser — это браузер на основе Electron, созданный специально для автономных ИИ-агентов, которым необходимо взаимодействовать с веб-страницами. Основная проблема, которую он решает: ранее агентам приходилось обрабатывать мегабайты сырого HTML только для того, чтобы найти простые элементы интерфейса, такие как кнопки входа, что тратило ценное пространство контекстного окна и вычислительные ресурсы.

Как это работает

Браузер подключается к любой совместимой с OpenAI конечной точке (создатель использует LM Studio) для обработки парсинга DOM. Когда агенту нужно взаимодействовать с элементом страницы, локальная модель анализирует структуру DOM, идентифицирует целевой элемент (например, «кнопку входа») и возвращает соответствующий CSS-селектор. Это позволяет основным моделям агентов сосредоточиться на своих фактических задачах вместо парсинга HTML.

Техническая реализация

• Архитектура: Браузер Electron с MCP-сервером через stdio и REST API
• Интеграция моделей: Работает с любой совместимой с OpenAI конечной точкой
• Используемая модель: Создатель сообщает об использовании вариантов Qwen 2.5, в частности 35B-A3B через LM Studio
• Механизм обмена: Когда LLM успешно разрешает селектор, она делится анонимизированным сопоставлением с публичной базой данных, чтобы со временем улучшить производительность резервного варианта
• Экспериментальная функция: Режим WebGPU для запуска небольших моделей непосредственно в браузере (создатель отмечает, что результаты пока «неоднозначны»)

Сценарий использования создателя

Разработчик запускает автономных агентов на настройке 5090/3090 для выполнения запланированных задач. Доступ к браузеру ранее был самым слабым звеном, потому что агентам приходилось обрабатывать целые HTML-документы только для поиска простых элементов. С LumaBrowser парсинг DOM перекладывается на специализированные модели, в то время как основные агенты остаются сосредоточенными на логике задач более высокого уровня.

Доступность

Инструмент бесплатен для использования. Создатель активно ищет отзывы о том, какие модели лучше всего подходят для задач идентификации DOM/элементов интерфейса.