클로드 대 GPT-4o: 동일한 이중 진자 프롬프트, 다른 좌표 규칙

Reddit 사용자가 동일한 이중 진자 프롬프트를 Claude와 GPT-4o에 공유 호스트 렌더러를 사용하여 나란히 실행했을 때, 몇 초 만에 완전히 다른 두 물리 시스템을 보았습니다. 원인은 각 모델이 세타를 측정하는 다른 관례를 선택했기 때문입니다.

Claude는 위쪽 수직(theta=0 = 팔이 위를 똑바로 가리킴)에서 theta를 측정한 반면, GPT-4o는 아래쪽 수직(theta=0 = 팔이 아래로 늘어짐)에서 측정했습니다. 호스트 렌더러 public/workers/simulator-host.js는 단순히 info.theta1과 info.theta2를 읽고 그에 따라 팔을 그리기 때문에 시각적 차이는 없습니다. 따라서 시각적 불일치는 실제 물리학 불일치입니다.

두 관례 모두 기술적으로 유효합니다. 대부분의 고전 역학 교과서는 작은 각도 근사에서 평형점이 theta=0에 있기 때문에 아래쪽 수직에서 세타를 사용합니다. 그러나 위쪽 수직에서 세타를 측정하는 것도 많은 참고 자료에서 표준입니다. Claude는 운동 방정식, 초기 조건, 적분(Runge Kutta) 전반에 걸쳐 자체 관례를 일관되게 적용했습니다. GPT-4o는 다른 관례를 조용히 사용했으며, 선택에 대해 언급하지 않았습니다.

사용자는 Physics Bench에서 작업 중이었는데, 이는 모든 모델이 동일한 생성 계약을 받는 오픈 소스 나란히 비교 벤치마크입니다: function createSimulator(...) in lib/prompt.ts. 호스트는 모든 렌더링을 소유하고, 모델은 step, getInfo, reset만 구현합니다. 모델은 draw를 건드리지 않습니다. 따라서 패널 간의 시각적 차이는 렌더링 선택이 아닌 시뮬레이션 로직의 실제 차이에서 비롯됨이 보장됩니다.

수학의 단위 테스트는 이를 잡아내지 못했을 것입니다. 두 모델 모두 선택한 관례에 대해 올바른 물리학을 생성합니다. 동일한 드로잉 코드를 통해 나란히 렌더링할 때만 차이가 드러납니다. 이는 출력이 고정된 렌더러에 의해 소비될 때 프롬프트에서 좌표 관례를 명시적으로 지정하는 것의 중요성을 강조합니다.

전체 Reddit 스레드에서 코드 스니펫 및 대화 검사기 세부 정보를 확인하세요.