Gemma 4 31B surpasse des modèles plus grands sur le FoodTruck Bench

Résultats et analyse du benchmark
Gemma 4 31B a obtenu la 3e place au benchmark FoodTruck Bench, surpassant plusieurs modèles plus grands et établis. Selon la discussion sur Reddit, le modèle a battu GLM 5, Qwen 3.5 397B et toutes les variantes Claude Sonnet.
Le FoodTruck Bench est un benchmark qui teste les modèles linguistiques sur des tâches de planification complexes et multi-étapes. L'auteur original émet l'hypothèse que les performances de Gemma 4 suggèrent qu'il gère mieux les tâches à long terme que les modèles précédents qui n'ont pas réussi à terminer le benchmark. Plus précisément, le modèle semble écouter efficacement ses propres conseils lors de la planification des étapes suivantes dans la séquence de tâches.
Ce résultat est notable car Gemma 4 31B est nettement plus petit que certains des modèles qu'il a surpassés. Qwen 3.5 397B, par exemple, a environ 12,8 fois plus de paramètres que Gemma 4 31B. La performance suggère que l'architecture du modèle et les approches d'entraînement peuvent être aussi importantes que le nombre de paramètres pour certains types de tâches de raisonnement.
Le FoodTruck Bench teste les modèles sur des scénarios de planification pratiques qui nécessitent de maintenir le contexte sur des séquences étendues d'actions. La conception du benchmark le rend particulièrement pertinent pour les développeurs travaillant avec des agents d'IA qui doivent exécuter des tâches multi-étapes dans des applications réelles.
📖 Read the full source: r/LocalLLaMA
👀 See Also

Claude se connecte désormais à Adobe Creative Cloud, Blender, Ableton et plus encore
Anthropic publie des connecteurs pour Claude afin de l'intégrer à Adobe Creative Cloud, Affinity, Blender, Ableton, Splice et Autodesk, permettant de contrôler les applications et de récupérer des données via le langage naturel.

Perte de données persistante dans les projets Claude : des conversations disparaissent sans récupération
Un écrivain de longs formats rapporte avoir perdu des journées entières de travail dans les Projets Claude à cause de conversations qui disparaissent de la liste des discussions du projet, impossibles à rechercher et à récupérer, sans réponse du support Anthropic après trois incidents.

Claude-Code v2.1.38 : Principales corrections et améliorations
Claude-Code v2.1.38 corrige la régression du terminal VS Code, les problèmes liés à la touche Tab et les corrections de permissions dans les commandes bash. Il améliore également l'analyse des heredocs et la sécurité du mode sandbox.

Claude.ai connaît des erreurs accrues et des problèmes de connexion pour Claude Code
Claude.ai connaît des erreurs élevées, y compris des problèmes de connexion pour Claude Code, à partir du 11 mars 2026. L'incident a été signalé automatiquement dans les 2 minutes suivant une mise à jour officielle du statut du système.