Qwen3.5-4B에서 테스트한 10개 AI 에이전트: Pi는 1분 36초 만에 5개 작업 완료, OpenCode는 17분 43초 소요

한 개발자가 Qwen3.5-4B에서 10개의 AI 코딩 에이전트를 벤치마킹했습니다. 각 에이전트는 가능한 한 자동 확인 및 텔레메트리를 비활성화한 헤드리스 모드로 실행되었습니다. 모든 에이전트에는 격리된 설정 폴더, 새 픽스처 복사본, 작업당 10분의 시간이 주어졌습니다. 전체 스위트는 adapters/<agent>.sh를 통해 실행되었고 check/check.sh의 자동 검사가 동반되었습니다.

5가지 작업

• T1 — YAML에서 DB 포트를 읽고(캐시 포트와 혼동하지 말 것) 파일에 기록합니다.
• T2 — stats.py 스크립트를 작성하고 실행한 뒤 출력을 저장합니다.
• T3 — slugify의 버그를 수정해 테스트를 통과시킵니다. 숨겨진 예시로 과적합을 잡아냅니다.
• T4 — 세 개의 로그 파일에서 ERROR 줄 수를 세고 가장 빈번한 오류를 찾습니다.
• T5 — 프로그램 출력을 바꾸지 않고 세 파일에 걸쳐 함수 이름을 변경합니다.

결과 (총 시간, 통과한 작업 수)

• Pi v1.3.0 — 1분 36초, 5/5. T1 10초, T2 14초, T3 24초, T4 19초, T5 29초. 도구 형식에 대해 거의 추론할 필요가 없습니다.
• goose v1.55.0 — 2분 51초, 5/5. 일관성 있으며 흔들림이 없습니다.
• Crush v0.98.1 — 3분 31초, 5/5. 추론이 약간 더 장황합니다.
• Atomic Agent v0.6.9 — 4분 38초, 5/5. 다중 파일 편집으로 T3(77초)와 T5(104초)에서 느렸지만 도구 호출 오류나 허위 완료는 없었습니다.
• Cline v3.0.73 — 5분 56초, 5/5. T2에서 2분 넘게 멈췄다가 올바르게 작성했습니다.
• OpenClaw v2026.10.5 — 5분 44초, 5/5. --local-model-lean 모드로 실행되었고 T3(107초)와 T4(116초)에서 느렸습니다.
• OpenCode v1.19.3 — 17분 43초. 모두 완료했지만 작업당 평균 거의 4분이 걸렸습니다. 모델이 간단한 단계를 과도하게 생각했습니다.

일곱 에이전트의 시간과 통과 횟수가 집계되었습니다. 원문 게시물에는 10개가 나열되어 있지만, 발췌문에는 상위 7개 항목만 벤치마크 표가 포함되어 있습니다. 작업별 원시 타이밍과 전체 어댑터/검사 스크립트는 원본 스레드에 있습니다.

소형 로컬 모델을 실행하는 사람들을 위한 시사점: 여기서는 도구 호출 형식의 정규화가 원시 모델 크기보다 더 중요합니다. 모델에 단순하고 엄격한 도구 스키마를 제공하는 에이전트(Pi, goose)는 동일한 5/5를 몇 분 만에 완료한 반면, 더 범용적인 루프는 형식과 과도한 사고에 시간을 낭비했습니다.