루마브라우저: AI 에이전트를 위해 DOM 파싱을 로컬 LLM에 오프로드하는 일렉트론 브라우저

LumaBrowser의 기능

LumaBrowser는 웹 페이지와 상호작용해야 하는 자율 AI 에이전트를 위해 특별히 제작된 Electron 기반 브라우저입니다. 이 브라우저가 해결하는 핵심 문제는 에이전트가 로그인 버튼과 같은 간단한 UI 요소를 찾기 위해 이전에는 수 메가바이트의 원시 HTML을 처리해야 했고, 이로 인해 소중한 컨텍스트 윈도우 공간과 컴퓨팅 자원이 낭비되었다는 점입니다.

작동 방식

이 브라우저는 DOM 파싱을 처리하기 위해 모든 OpenAI 호환 엔드포인트(제작자는 LM Studio 사용)에 연결합니다. 에이전트가 페이지 요소와 상호작용해야 할 때, 로컬 모델이 DOM 구조를 분석하고 대상 요소(예: "로그인 버튼")를 식별한 후 적절한 CSS 선택자를 반환합니다. 이를 통해 주요 에이전트 모델이 HTML을 파싱하는 대신 실제 작업에 집중할 수 있습니다.

기술적 구현

• 아키텍처: stdio 및 REST API를 통한 MCP 서버가 있는 Electron 브라우저
• 모델 통합: 모든 OpenAI 호환 엔드포인트와 작동
• 사용 모델: 제작자는 Qwen 2.5 변형, 특히 LM Studio를 통한 35B-A3B 모델을 사용한다고 보고함
• 공유 메커니즘: LLM이 선택자를 성공적으로 해결하면 익명화된 매핑을 공개 데이터베이스에 공유하여 시간이 지남에 따라 폴백 성능을 개선함
• 실험적 기능: 브라우저에서 직접 소형 모델을 실행하는 WebGPU 모드(제작자는 현재까지 결과가 "들쭉날쭉하다"고 언급)

제작자의 사용 사례

개발자는 5090/3090 설정에서 예약 작업을 수행하는 자율 에이전트를 운영합니다. 브라우저 접근은 이전에 가장 약한 연결고리였는데, 에이전트가 간단한 요소를 찾기 위해 전체 HTML 문서를 처리해야 했기 때문입니다. LumaBrowser를 사용하면 DOM 파싱이 특화된 모델에 오프로드되고, 주요 에이전트는 상위 수준의 작업 로직에 집중할 수 있습니다.

사용 가능성

이 도구는 무료로 사용할 수 있습니다. 제작자는 DOM/UI 요소 식별 작업에 어떤 모델이 가장 효과적인지에 대한 피드백을 적극적으로 구하고 있습니다.