블라인드 테스트: 동일한 Qwen 27B 모델을 사용한 로컬 AI 에이전트 5개 — 하나는 설치 프롬프트에서 실패

r/openclaw의 한 사용자가 다섯 개의 로컬 코딩 에이전트를 동일한 하드웨어와 모델에서 같은 5가지 작업 세트로 실행한 뒤, 이름을 숨기고 독자들에게 어느 것이 OpenClaw인지 맞혀보라고 했다. 경쟁자들은 Atomic Agent, goose, Hermes, OpenClaw, OpenCode였다.

설정

• 모델: Qwen 3.8 27B uncensored, Q4_K_M 양자화
• 런타임: llama.cpp
• 하드웨어: M5 Max MacBook Pro, 64GB RAM
• 한 번에 에이전트 하나, 자동 승인 켜짐
• 스크립트가 성공/실패를 판정 — 사람의 채점 없음

작업은 평범한 개발 업무였다: 두 연락처 목록 병합, 세 파일에 걸쳐 함수 이름 변경, 숨겨진 테스트가 있는 버그 수정, 세 로그 파일에서 오류 개수 세기, 영수증 PDF를 스프레드시트로 변환.

결과 (이름 숨김)

에이전트   1. 연락처   2. 이름변경   3. 버그수정   4. 오류   5. 영수증   총계
A       ✅ 4:54       ✅ 0:28     ✅ 0:43      ✅ 0:26     ✅ 3:58      10:29
B       ✅ 6:03       ✅ 1:11     ✅ 0:55      ✅ 0:54     ✅ 15:04     24:07
C       ✅ 13:32      ✅ 0:24     ❌ 0:22      ✅ 0:57     ❌ 0:49     16:04
D       ✅ 6:16       ✅ 1:12     ✅ 0:56      ✅ 0:56     ✅ 2:50      12:10
E       ✅ 5:50       ✅ 1:01     ✅ 0:21      ✅ 0:26     ✅ 3:56      11:34

다섯 중 네 에이전트가 다섯 작업을 모두 통과했다. 에이전트 C는 두 가지에서 실패했다.

에이전트들이 갈린 지점

영수증-스프레드시트 작업에서 에이전트 A와 B는 누락된 Python 라이브러리를 발견하고 묻지 않고 설치했다. 에이전트 C는 멈춰서 설치 허가를 요청했지만 아무도 답하지 않아 실패했다. 에이전트 D는 작업을 마친 뒤에야 출력 파일 이름을 물었다.

실패 패턴이 타이밍보다 더 중요하다: 무인 루프 안에서 사람 입력을 기다리며 막히는 에이전트형 코딩 도구는 이런 실행에서 사실상 작동하지 않는다. C는 예의 때문에 대가를 치렀다.

버그 수정에서 C는 "Q3/Q4"를 "q3-q4" 대신 "q3q4"로 바꿨다 — 그럴듯해 보이지만 틀린 변환이었고 숨겨진 테스트가 이를 잡아냈다.

다른 작업들은 일관됐다: 다섯 모두 연락처 목록을 46명으로 올바르게 병합했고, 세 파일 이름 변경도 모두 통과했으며, 로그 파일에서 오류 43개를 모두 세었다.

속도 편차는 컸다. E는 11:34에 끝냈고 B는 24:07이 걸렸는데, 거의 전적으로 영수증 작업의 15:04 때문이었다. 이는 모델 품질보다는 샘플링과 도구 호출 재시도에서 나오는 변동성이다.

작성자는 정답을 하루나 이틀 안에 공개하겠다고 했으므로, 문자와 제품의 매핑은 아직 열려 있다.