실제 환경 비교: OpenClaw 설정에서 Opus 4.6 vs MiMo-V2-Pro vs GLM-5

테스트 설정 및 방법론

한 개발자가 세 가지 AI 모델인 Opus 4.6, MiMo-V2-Pro, GLM-5를 비교하는 실제 테스트를 진행했습니다. 설정은 OpenClaw + Telegram + Mac 노드 + Chrome CDP(브라우저 자동화)를 사용했으며, 모든 모델은 동일한 인프라와 도구에서 실행되었습니다.

카테고리별 테스트 결과

테스트 1: 터키어 관용구 번역

과제는 문화적 관용구가 포함된 터키어 문장 "Adam çok pişkin, yüzüne bakılmaz ama işini bilir."을 영어로 번역하는 것이었습니다.

• Opus: 두 관용구를 완벽히 번역하고 문화적 맥락을 설명함. 점수: 9/10
• MiMo: "pişkin"은 올바르게 번역했지만 "yüzüne bakılmaz"를 "그를 보는 것을 견딜 수 없다"로 오역함 — 근접했지만 정확하지 않음. 점수: 6/10
• GLM-5: "yüzüne bakılmaz"를 "완전히 신뢰할 수 없다"로 번역함 — 완전히 틀림. 점수: 5/10

테스트 2: 파이썬 코딩 (마크다운 링크 검사기)

과제: 마크다운 파일에서 모든 링크를 추출하고 HTTP 상태를 확인한 후 깨진 링크를 보고하는 파이썬 함수 작성.

• Opus: 깔끔하고 병렬 처리, 일반 URL 지원, 중복 제거. 하지만 HEAD 폴백이나 User-Agent 없음. 점수: 8/10
• MiMo: HEAD→GET 폴백, User-Agent 헤더, 스트림 모드. 가장 프로덕션 준비가 잘 된 코드는 MiMo에서 나옴. 점수: 9/10
• GLM-5: 작동하지만 예외 상황 처리 부족. 점수: 7.5/10

MiMo가 코딩에서 Opus를 이겼는데, 이는 테스터를 놀라게 했습니다.

테스트 3: 공간 추론

질문: "A는 B 뒤에 있고, B는 C 뒤에 있으며, C는 문을 향하고 있습니다. A가 문을 볼 수 있나요?" 세 모델 모두 정답을 맞췄습니다. 점수: 각각 10/10.

테스트 4: 긴 문맥 일관성

긴 대화 요약을 제공하고 구체적인 사실에 대한 7개의 상세 질문을 했습니다.

• Opus: 67/70 — 가장 일관적이며, 환각 현상 없음
• MiMo: 64/70 — 확실하지 않을 때 "텍스트에 언급되지 않음"이라고 말하며 지어내지 않음
• GLM-5: 64/70 — 하지만 한 답변에서 잘못된 수정을 환각함

테스트 5: 브라우저 자동화

MiMo가 Chrome CDP를 통해 Gmail을 검색하고 이메일을 읽은 후 X 스레드를 요약하도록 했습니다. 또한 3개의 탭을 열고 모든 제목을 읽었습니다. 모든 작업을 성공적으로 완료했습니다.

비용 비교

이 모든 테스트 + 브라우징 + 대화는 MiMo에서 총 44센트가 들었습니다. Opus API에서 동일한 작업량은 약 $8-10 정도일 것입니다. 이는 20배의 가격 차이입니다.

전체적인 인상

• Opus는 여전히 전체적으로 1위, 특히 비영어 뉘앙스와 긴 문맥 일관성에서 우수함
• MiMo는 코딩에서 Opus를 이겼으며, 가격은 1/10, 환각 저항성이 좋음
• GLM-5는 놀랍게도 둘에 가까운 성능을 보임(약 $70/3개월 비용)
• MiMo는 브라우저 자동화를 문제없이 처리함

테스터는 Opus에서 전환하지 않을 것입니다 — MiMo는 정액제 요금제가 없으며 여전히 비영어 언어 이해가 약합니다. 하지만 GLM-5를 능가하고 코딩에서 Opus와 경쟁했다는 사실은 인상적입니다.