Gemma 4 31B가 FoodTruck Bench에서 더 큰 모델들을 능가합니다

벤치마크 결과 및 분석

Gemma 4 31B는 FoodTruck Bench 벤치마크에서 3위를 달성하며, 여러 더 크고 확립된 모델들을 능가했습니다. Reddit 토론에 따르면, 이 모델은 GLM 5, Qwen 3.5 397B 및 모든 Claude Sonnet 변형 모델들을 이겼습니다.

FoodTruck Bench는 복잡한 다단계 계획 작업에 대한 언어 모델을 테스트하는 벤치마크입니다. 원본 게시자는 Gemma 4의 성능이 벤치마크를 완료하지 못한 이전 모델들보다 장기적 작업을 더 잘 처리한다는 것을 시사한다고 추측합니다. 특히, 이 모델은 작업 순서에서 후속 단계를 계획할 때 자체 조언을 효과적으로 듣는 것으로 보입니다.

이 결과는 Gemma 4 31B가 능가한 일부 모델들보다 상당히 작기 때문에 주목할 만합니다. 예를 들어, Qwen 3.5 397B는 Gemma 4 31B보다 약 12.8배 더 많은 매개변수를 가지고 있습니다. 이 성능은 특정 유형의 추론 작업에 대해 모델 아키텍처와 훈련 접근 방식이 매개변수 수만큼 중요할 수 있음을 시사합니다.

FoodTruck Bench는 확장된 행동 시퀀스에 걸쳐 컨텍스트를 유지해야 하는 실용적인 계획 시나리오에서 모델을 테스트합니다. 이 벤치마크의 설계는 실제 애플리케이션에서 다단계 작업을 실행해야 하는 AI 에이전트와 작업하는 개발자들에게 특히 관련이 있습니다.