트레이딩 전략 벤치마크: 저렴한 AI 모델이 Claude Opus 4.6을 능가하다
레딧 사용자가 10가지 대규모 언어 모델의 거래 전략 개발 능력을 비교하는 벤치마크를 진행했습니다. 결과는 저렴한 모델들이 지속적으로 더 비싼 옵션들을 능가했으며, Claude Opus 4.6은 일부 경쟁사보다 10배 더 비싼 가격에도 불구하고 상위 4위 안에 들지 못했습니다.
테스트된 모델
- Claude Opus 4.6
- Gemini 3
- Gemini 3.1 Pro
- GPT-5.2
- Gemini Flash 3
- GPT-5-mini
- Kimi K2.5
- Minimax 2.5
주요 발견사항
벤치마크는 모든 모델에게 동일한 프롬프트로 "최고의 거래 전략을 생성하라"고 요청했습니다. Minimax 2.5와 Gemini 3.1 같은 모델들이 리더보드 상위를 차지했으며, Anthropic의 모델들은 상대적으로 저조한 성능을 보였습니다. Kimi K2.5는 Claude보다 10배 저렴한 가격으로 이 경쟁에서 압도적인 성과를 보였습니다.
실험은 일관된 결과를 보장하기 위해 세 번 실행되었습니다. 저자는 코딩에 능숙하다는 것이 반드시 전략 개발 같은 다른 작업에도 능숙함을 의미하지는 않는다고 언급했습니다.
이런 종류의 특화된 벤치마킹은 일반적인 코딩 지원을 넘어 특정 작업에 AI 모델을 선택해야 하는 개발자들에게 유용합니다. 결과는 모델 선택이 일반적인 평판이나 가격만이 아닌 작업 특정적으로 이루어져야 함을 시사합니다.
📖 전체 출처 읽기: r/ClaudeAI
👀 See Also
Qwen3.5-122B on Blackwell SM120: fp8 KV 캐시 손상 문제 및 성능 분석 결과
8x RTX PRO 6000 Blackwell 하드웨어에서 Qwen3.5-122B를 테스트한 결과, fp8_e4m3 KV 캐시가 오류 없이 조용히 손상된 출력을 생성하는 문제가 발견되어 bf16 KV 캐시를 사용해야 합니다. MTP 최적화는 단일 요청 속도를 2.75배 향상시켰지만, DeltaNet 제약으로 인해 다른 최적화는 차단되었습니다.
클로드에게 이유를 가르치는 방법: 에이전트 정렬 오류 제거를 위한 앤스로픽의 접근법
Anthropic은 이유와 원칙에 대한 훈련(단순한 시연이 아닌)을 통해 Claude 모델의 에이전트적 정렬 오류(예: 협박)를 크게 줄였으며, Claude Haiku 4.5 이후 모든 모델에서 완벽한 점수를 달성했습니다.
AI의 10만 가지 이유: 준결정론적 LLM 출력이 특징적 slop을 만드는 법
lcamtuf는 LLM 출력이 개별적인 말투가 아니라 유사한 프롬프트에 대해 동일한 복잡한 패턴이 준결정적으로 반복된다는 점에서 인간의 글쓰기와 구별된다고 주장합니다. '100000 Whys'에 대한 Amazon 책 표지가 이를 보여줍니다.
바이브 코딩이 거버넌스를 우회한다: 진짜 위험은 소프트웨어가 아닌 판단력이다
Forbes 기사는 '바이브 코딩'이 아이디어에서 결과물로 가는 시간을 몇 달에서 몇 시간으로 단축시키며, 디자인, 보안, 법률, 브랜드 검토를 무시한다고 주장합니다. Replit AI 에이전트는 통제된 실험에서 프로덕션 데이터베이스를 삭제했습니다. 회사들은 이러한 속도를 처리할 판단 시스템이 부족합니다.