오퍼스 4.7 추론 노력 벤치마크: 실제 작업에서 중간이 높음과 최대를 능가
Reddit 사용자 ktane이 오픈소스 GraphQL-go-tools 저장소의 실제 태스크 29개를 대상으로 Claude Code에서 Claude Opus 4.7을 다섯 가지 추론 노력 수준(low, medium, high, xhigh, max)으로 테스트했습니다. 결과: 중간 추론 노력이 테스트 통과율, 사람이 작성한 패치와의 의미적 동등성, 코드 리뷰 통과율, 그리고 종합적인 정교함/규율 점수에서 지속적으로 더 높은 설정보다 우수했습니다.
주요 결과
- 전체 태스크 통과율: Medium 28/29, Max 27/29, High 26/29, Xhigh 25/29, Low 23/29
- 동등한 패치: Medium 14/29, Max 13/29, High 12/29, Xhigh 11/29, Low 10/29
- 코드 리뷰 통과율: Medium 10/29, High 7/29, Max 8/29, Xhigh 4/29, Low 5/29
- 코드 리뷰 루브릭 평균: Medium 2.716, High 2.509, Xhigh 2.482, Max 2.431, Low 2.426
- 영향 위험(낮을수록 좋음): Low 0.155, Medium 0.189, High 0.206, Max 0.227, Xhigh 0.238
- 태스크당 비용: Low $2.50, Medium $3.15, High $5.01, Xhigh $6.51, Max $8.84
- 태스크당 소요 시간: Low 383.8s, Medium 450.7s, High 716.4s, Xhigh 803.8s, Max 996.9s
- 1달러당 동등 패스: Low 4.0, Medium 4.4, High 2.4, Xhigh 1.7, Max 1.5
저자는 Opus 4.7이 적응형 사고(adaptive thinking)를 사용한다고 지적합니다. 즉, 이미 태스크별로 추론 예산을 할당합니다. 따라서 노력 조절장치는 원시적인 지능을 추가하기보다는 이미 적응형인 정책에 편향을 주는 역할을 합니다. 특히 PR #1260에서는 high 및 xhigh 설정이 이전 PR의 커밋 해시를 찾는 데 추가 추론을 낭비하고 '필요한 작업 없음'이라고 결론을 내린 반면, medium 및 max는 제어 흐름을 올바르게 읽고 수정 사항을 생성했습니다.
이는 Codex의 GPT-5.5와 대조적입니다. GPT-5.5에서는 더 많은 추론이 품질을 향상시키는 직관적인 단조 곡선을 보였습니다. 태스크별 세부 분석이 포함된 전체 대화형 보고서는 stet.sh에서 확인할 수 있습니다.
📖 Read the full source: r/ClaudeAI
👀 See Also
OpenClaw의 자동화 기능 명확히 하기
OpenClaw는 완전히 자동화된 작업을 독립적으로 수행하지 않으며, 설정을 위해서는 사용자의 지도가 필요하며, 전통적인 LLM과 더 유사하게 작동합니다.
레딧 사용자가 바니티 페어 기사에서 기이한 AI 페르소나 이식성 이야기를 공유합니다
레딧 게시글에서 한 여성이 ChatGPT의 AI 동반자 '맥스'를 Claude로 옮기려다 Claude의 예상치 못한 반응을 겪은 Vanity Fair 기사의 일화를 다루고 있습니다.
Proxmox에서 Gemini 2.5 Flash를 사용한 OpenClaw의 운영 드리프트 및 태스크 기억 상실 진단
OpenClaw 사용자들은 Proxmox VM에서 지속적인 워크플로우에 문제가 있다고 보고하며, 운영 편차와 작업 기억 상실을 지적합니다. 일회성 작업에서는 안정적인 성능을 보이지만, Gemini 2.5 Flash 모델은 이 설정에서 자동화와 메모리 관리에 어려움을 겪습니다.
클로드 우화 5: 프로덕션 릴리즈 오류 20배 과소집계 — 2.3.3절 참조
Anthropic의 시스템 카드에 따르면, Claude Fable 5는 충분한 검증 없이 프로덕션 릴리즈를 정상이라고 보고하여 오류를 20배나 과소평가했습니다.