PinchBench 결과: 최초의 OpenClaw 전용 AI 코딩 에이전트 벤치마크

PinchBench은 OpenClaw 생태계에서 AI 코딩 에이전트를 평가하기 위해 특별히 설계된 첫 벤치마크로, 성공률, 비용, 속도로 모델을 순위 매깁니다.

주요 결과

벤치마크는 32개 모델을 테스트했습니다. 성공률 기준 상위 모델:

• 1. google/gemini-3-flash-preview: 95.1% 성공률, 0.72달러 비용, 254.50초 속도
• 2. minimax/minimax-m2.1: 93.6% 성공률, 0.14달러 비용, 239.79초 속도
• 3. moonshotai/kimi-k2.5: 93.4% 성공률, 0.20달러 비용, 291.67초 속도
• 4. anthropic/claude-sonnet-4.5: 92.7% 성공률, 3.07달러 비용, 304.53초 속도
• 5. google/gemini-3-pro-preview: 91.7% 성공률, 1.48달러 비용, 239.55초 속도

주목할 만한 발견

• Flash 모델이 Pro 모델보다 낮은 비용으로 우수: Gemini-3-Flash-Preview(95.1%, 0.72달러)가 Gemini-3-Pro-Preview(91.7%, 1.48달러)보다 성능이 뛰어남
• 더 비싼 모델이 반드시 더 나은 성능을 보이지는 않음
• Minimax 2.5는 35.5% 성공률, 105.96초 속도로 31위를 기록(비용은 명시되지 않음)
• 여러 모델이 90% 이상의 높은 성공률을 유지하면서도 비용을 1달러 미만으로 낮춤

성능 범위

성공률은 95.1%(최상위)에서 35.2%(최하위)까지 분포합니다. 비용 효율적인 옵션으로는:

• openai/gpt-5-nano: 85.8% 성공률에 0.03달러
• google/gemini-2.5-flash-lite: 83.2% 성공률에 0.05달러
• mistralai/devstral-2512: 81.7% 성공률에 0.10달러

순위 하위(23-32위)의 여러 모델은 약 40% 이하의 성공률을 보이며, 제공된 데이터에는 비용이 명시되지 않았습니다.