오픈소스 vs 프런티어 모델: 단일 파일 캔버스 자동차 장면 벤치마크
한 개발자가 12개 모델에 동일한 단일 파일 Canvas 프롬프트를 실행하여 현실적인 측면 자동차 주행 장면에서 오픈소스 모델과 최첨단 모델의 성능을 비교했습니다. 작업 조건: 하나의 독립적인 HTML 파일, 라이브러리나 외부 에셋 없음, 시차 배경, 회전하는 바퀴, 미묘한 차체 움직임, 영화 같은 조명, 끊김 없는 반복. 테스트 도구는 OpenCodeOrchestra이며, 결과는 oco-canvas-car-scene-compare에서 확인할 수 있습니다.
테스트된 모델
각 모델은 격리된 Orchestrator에서 가능한 가장 높은 사고/노력 설정으로 실행되었습니다. 목록에는 GPT-5.5 xhigh, GPT-5.4 xhigh, Claude Opus 4.7 (최대 노력), Claude Opus 4.6 (최대 노력), Claude Sonnet 4.6 (높은 노력), Kimi K2.6, DeepSeek V4 Pro, DeepSeek V4 Flash, GLM-5.1, MiniMax M2.7, Qwen 3.6 Plus, Grok 4.3이 포함됩니다. 토큰/초 및 생성 시간은 측정되지 않았습니다.
주요 발견 사항
- 일부 모델은 내부적으로 감사 모델을 사용했고, 그렇지 않은 모델도 있었습니다.
- 갤러리에서 명확한 승자와 모호한 결과를 확인할 수 있습니다.
- MiMo V2.5 Pro는 OpenCode Go 구독의 청구 문제로 제외되었습니다.
갤러리 페이지에서는 각 모델의 출력을 나란히 비교할 수 있습니다. 소스 코드는 GitHub의 AidenGeunGeun/oco-canvas-car-scene-compare에서 확인할 수 있습니다.
📖 전체 출처 읽기: r/LocalLLaMA
👀 See Also
원시인 대 '간결하게' 프롬프트: 클로드 압축 프롬프트 벤치마킹
5개 부문에 걸친 24개 프롬프트 벤치마크에서 2단어 프롬프트 '간결히.'가 토큰 수와 출력 품질 모두에서 caveman 압축과 일치했지만, caveman은 구조적 일관성과 안전 탈출 기능을 제공합니다.
UW 연구진, 교사 착용 카메라로 AI 훈련 계획…학부모 거부권 행사
워싱턴 대학 연구진이 유치원 교사에게 1인칭 카메라를 착용시켜 아이들을 녹화하고 AI 모델 훈련에 사용하려는 계획을 세웠으며, 이는 옵트아웃 동의 모델을 사용했다.
분산형 소형 모델 네트워크, 중앙 집중형 AI를 비용과 성능에서 압도하다: 프런티어 AI 경쟁의 종말
소형 AI 모델 네트워크가 속도, 정확도, 비용에서 모든 최첨단 AI 시스템을 능가합니다. 중앙 집중식 AI 기업은 '히드라 효과'로 인해 선두를 되찾을 수 없다고 주장합니다.
대법원, AI 저작권 소송 상고 기각…하급심 판결 유지
미국 대법원은 AI 생성 자료에 대한 저작권 분쟁을 심리하지 않기로 결정하여, 인간 저작 없이 창작된 작품에 대한 저작권 보호를 거부한 하급 법원 판결을 그대로 유지했습니다.