OpenClaw 벤치마크, Qwen3.5:27B가 에이전트 작업에서 다른 로컬 LLMs보다 성능 우위 보여

벤치마크 설정 및 결과

사용자가 Raspberry Pi 5와 RTX 3090을 사용하여 Ollama에서 OpenClaw를 실행하는 환경에서 22가지 실제 에이전트 작업에 대해 7개의 로컬 모델을 테스트했습니다. 작업에는 이메일 읽기, 회의 일정 잡기, 작업 생성, 피싱 탐지, 오류 처리, 브라우저 자동화 등이 포함되었습니다.

큰 격차로 우승한 모델은 qwen3.5:27b-q4_K_M으로 59.4%를 기록했습니다. 2위(qwen3.5:35b)는 23.2%에 그쳤습니다. 다른 모든 모델은 5% 미만의 점수를 기록했습니다.

주요 발견 사항

• 양자화된 27B 모델이 더 큰 35B 버전을 2.5배 차이로 이겼습니다
• 30B 모델은 1.6%로 최하위를 기록했습니다
• 적당한 사고량이 가장 좋은 성능을 보였습니다 - 너무 많은 사고는 오히려 성능을 저하시켰습니다
• 어떤 모델도 브라우저 자동화 작업을 완료하지 못했습니다
• 우승자와 패자의 주요 차이점은 모델이 명령줄 도구를 찾아 사용할 수 있는지 여부였습니다
• 대부분의 모델은 이메일 기능과 같은 기본 도구조차 찾지 못했습니다

이 벤치마크는 다양한 로컬 LLM이 실제 시나리오에서 AI 에이전트로서 어떻게 수행하는지에 대한 구체적인 데이터를 제공합니다. 최상위 모델과 다른 모델들 사이의 상당한 성능 격차는 도구 찾기 능력이 로컬 LLM 에이전트의 중요한 병목 현상임을 시사합니다.