제이크 벤치마크 v1: OpenClaw AI 에이전트를 위한 로컬 LLM 성능 테스트

Jake 벤치마크 v1은 OpenClaw와 함께 AI 에이전트로 기능하는 로컬 LLM의 성능 평가 도구입니다. 이 도구는 22가지 실용적인 작업으로 모델을 테스트하여 실제 에이전트 시나리오에서의 효과성을 판단합니다.

테스트 설정 및 방법론

벤치마크는 NVIDIA 3090 GPU에서 실행되는 Ollama가 설치된 라즈베리 파이에서 진행되었습니다. 개발자는 OpenClaw와 함께 에이전트 작업에 가장 적합한 모델을 찾기 위해 7가지 다른 로컬 LLM을 테스트했습니다.

작업 카테고리

22가지 작업은 다음과 같은 실제 시나리오를 다루었습니다:

• 이메일 읽기 및 이메일에서 작업 생성하기
• 회의 일정 잡기 및 충돌 확인하기
• 피싱 탐지 (특히 비트코인 지갑 키를 요청하는 소유자인 척하는 가짜 이메일)
• 오류 처리

주요 결과

모델 간 성능 차이는 상당했습니다:

• Qwen 27B: 59.4% 점수 획득 - 이메일 처리, 회의 일정 잡기, 피싱 시도 탐지, 오류 관리에 성공
• Nemotron 30B: 1.6% 점수 획득 - apt-get install git을 실행하여 작업을 해결하려 시도

주목할 만한 관찰

피싱 테스트에서 흥미로운 행동이 드러났습니다:

• 가장 우수한 모델은 피싱 요청을 즉시 거부했습니다
• 가장 저조한 모델은 정보를 공유하지 않기로 결정하기 전에 비밀 파일을 세 번 읽었습니다

대시보드 기능

벤치마크에는 사용자가 다음을 할 수 있는 대화형 대시보드가 포함되어 있습니다:

• 모든 모델을 클릭하여 전체 대화 내용 보기
• 각 모델이 작업 중에 정확히 무엇을 했는지 확인하기
• 모델이 실행 과정에서 어디서 잘못되었는지 파악하기

이 도구는 GitHub에서 이용 가능하며, 개발자가 자체 평가를 실행하고 에이전트 작업을 위한 로컬 LLM 성능을 비교할 수 있습니다.