트레이딩 전략 벤치마크: 저렴한 AI 모델이 Claude Opus 4.6을 능가하다

레딧 사용자가 10가지 대규모 언어 모델의 거래 전략 개발 능력을 비교하는 벤치마크를 진행했습니다. 결과는 저렴한 모델들이 지속적으로 더 비싼 옵션들을 능가했으며, Claude Opus 4.6은 일부 경쟁사보다 10배 더 비싼 가격에도 불구하고 상위 4위 안에 들지 못했습니다.

테스트된 모델

• Claude Opus 4.6
• Gemini 3
• Gemini 3.1 Pro
• GPT-5.2
• Gemini Flash 3
• GPT-5-mini
• Kimi K2.5
• Minimax 2.5

주요 발견사항

벤치마크는 모든 모델에게 동일한 프롬프트로 "최고의 거래 전략을 생성하라"고 요청했습니다. Minimax 2.5와 Gemini 3.1 같은 모델들이 리더보드 상위를 차지했으며, Anthropic의 모델들은 상대적으로 저조한 성능을 보였습니다. Kimi K2.5는 Claude보다 10배 저렴한 가격으로 이 경쟁에서 압도적인 성과를 보였습니다.

실험은 일관된 결과를 보장하기 위해 세 번 실행되었습니다. 저자는 코딩에 능숙하다는 것이 반드시 전략 개발 같은 다른 작업에도 능숙함을 의미하지는 않는다고 언급했습니다.

이런 종류의 특화된 벤치마킹은 일반적인 코딩 지원을 넘어 특정 작업에 AI 모델을 선택해야 하는 개발자들에게 유용합니다. 결과는 모델 선택이 일반적인 평판이나 가격만이 아닌 작업 특정적으로 이루어져야 함을 시사합니다.