PinchBench 결과: 최초의 OpenClaw 전용 AI 코딩 에이전트 벤치마크
PinchBench은 OpenClaw 생태계에서 AI 코딩 에이전트를 평가하기 위해 특별히 설계된 첫 벤치마크로, 성공률, 비용, 속도로 모델을 순위 매깁니다.
주요 결과
벤치마크는 32개 모델을 테스트했습니다. 성공률 기준 상위 모델:
- 1. google/gemini-3-flash-preview: 95.1% 성공률, 0.72달러 비용, 254.50초 속도
- 2. minimax/minimax-m2.1: 93.6% 성공률, 0.14달러 비용, 239.79초 속도
- 3. moonshotai/kimi-k2.5: 93.4% 성공률, 0.20달러 비용, 291.67초 속도
- 4. anthropic/claude-sonnet-4.5: 92.7% 성공률, 3.07달러 비용, 304.53초 속도
- 5. google/gemini-3-pro-preview: 91.7% 성공률, 1.48달러 비용, 239.55초 속도
주목할 만한 발견
- Flash 모델이 Pro 모델보다 낮은 비용으로 우수: Gemini-3-Flash-Preview(95.1%, 0.72달러)가 Gemini-3-Pro-Preview(91.7%, 1.48달러)보다 성능이 뛰어남
- 더 비싼 모델이 반드시 더 나은 성능을 보이지는 않음
- Minimax 2.5는 35.5% 성공률, 105.96초 속도로 31위를 기록(비용은 명시되지 않음)
- 여러 모델이 90% 이상의 높은 성공률을 유지하면서도 비용을 1달러 미만으로 낮춤
성능 범위
성공률은 95.1%(최상위)에서 35.2%(최하위)까지 분포합니다. 비용 효율적인 옵션으로는:
- openai/gpt-5-nano: 85.8% 성공률에 0.03달러
- google/gemini-2.5-flash-lite: 83.2% 성공률에 0.05달러
- mistralai/devstral-2512: 81.7% 성공률에 0.10달러
순위 하위(23-32위)의 여러 모델은 약 40% 이하의 성공률을 보이며, 제공된 데이터에는 비용이 명시되지 않았습니다.
📖 전체 출처 읽기: r/openclaw
👀 See Also
OpenClaw Memory-Core용 외부 리랭커 플러그인: 오래된 GPU 재활용하기
OpenClaw용 플러그인이 공개되어 memory-core가 기본 QMD 대신 외부 재순위화를 사용할 수 있게 되었습니다. CPU 성능이 제한된 시스템에서 성능을 개선합니다.
LUMA SOUL: 클로드 기반 영구 생성자 잠금 및 투명 메모리를 갖춘 마인드
LUMA SOUL은 각 AI 마인드가 초상화, 음성, 소울 문서를 갖는 프레즌스 플랫폼입니다. 핵심 설계: 창작자는 제출 시 영구적으로 편집 권한을 잃고, 메모리는 완전히 투명합니다.
civStation: 자연어 명령어를 통해 문명 VI를 플레이하는 VLM 시스템
civStation은 고수준 자연어 명령을 게임 내 액션으로 변환하여 Civilization VI를 플레이하는 컴퓨터 사용 VLM 하네스입니다. 이 시스템은 전략과 실행을 분리하는 3계층 아키텍처를 사용하며, 인간 개입이 가능한 루프를 지원합니다.
cq: AI 코딩 에이전트를 위한 로컬-퍼스트 지식 공유 시스템
Mozilla.ai의 cq는 로컬 SQLite 저장소를 통해 AI 코딩 에이전트가 일반적인 함정에 대한 '지식 단위'를 공유할 수 있게 해주는 오픈소스 도구로, Docker API를 통한 팀 공유 옵션도 제공합니다. Claude Code 플러그인 또는 OpenCode MCP 서버로 설치할 수 있습니다.