Gemma 4 31B surpasse des modèles plus grands sur le FoodTruck Bench

Résultats et analyse du benchmark

Gemma 4 31B a obtenu la 3e place au benchmark FoodTruck Bench, surpassant plusieurs modèles plus grands et établis. Selon la discussion sur Reddit, le modèle a battu GLM 5, Qwen 3.5 397B et toutes les variantes Claude Sonnet.

Le FoodTruck Bench est un benchmark qui teste les modèles linguistiques sur des tâches de planification complexes et multi-étapes. L'auteur original émet l'hypothèse que les performances de Gemma 4 suggèrent qu'il gère mieux les tâches à long terme que les modèles précédents qui n'ont pas réussi à terminer le benchmark. Plus précisément, le modèle semble écouter efficacement ses propres conseils lors de la planification des étapes suivantes dans la séquence de tâches.

Ce résultat est notable car Gemma 4 31B est nettement plus petit que certains des modèles qu'il a surpassés. Qwen 3.5 397B, par exemple, a environ 12,8 fois plus de paramètres que Gemma 4 31B. La performance suggère que l'architecture du modèle et les approches d'entraînement peuvent être aussi importantes que le nombre de paramètres pour certains types de tâches de raisonnement.

Le FoodTruck Bench teste les modèles sur des scénarios de planification pratiques qui nécessitent de maintenir le contexte sur des séquences étendues d'actions. La conception du benchmark le rend particulièrement pertinent pour les développeurs travaillant avec des agents d'IA qui doivent exécuter des tâches multi-étapes dans des applications réelles.