ThermoQA : Benchmark ouvert pour l'ingénierie thermodynamique testant les LLM sur 293 problèmes de calcul
Vue d'ensemble du benchmark ThermoQA
ThermoQA est un benchmark ouvert pour la thermodynamique technique, comprenant 293 problèmes de calcul ouverts répartis sur trois niveaux :
- Niveau 1 : Recherches de propriétés (110 questions) — Exemple : "quelle est l'enthalpie de l'eau à 5 MPa, 400°C ?"
- Niveau 2 : Analyse de composants (101 questions) — Turbines, compresseurs, échangeurs de chaleur avec calculs d'énergie/entropie/exergie
- Niveau 3 : Analyse de cycle complet (82 questions) — Cycles de Rankine, Brayton, turbines à gaz à cycle combiné
Les données de référence proviennent de CoolProp (IAPWS-IF97). Pas de choix multiples — les modèles doivent produire des valeurs numériques exactes.
Résultats du classement (moyenne sur 3 exécutions)
- 1. Claude Opus 4.6 : Niveau 1 : 96,4 %, Niveau 2 : 92,1 %, Niveau 3 : 93,6 %, Composite : 94,1 %
- 2. GPT-5.4 : Niveau 1 : 97,8 %, Niveau 2 : 90,8 %, Niveau 3 : 89,7 %, Composite : 93,1 %
- 3. Gemini 3.1 Pro : Niveau 1 : 97,9 %, Niveau 2 : 90,8 %, Niveau 3 : 87,5 %, Composite : 92,5 %
- 4. DeepSeek-R1 : Niveau 1 : 90,5 %, Niveau 2 : 89,2 %, Niveau 3 : 81,0 %, Composite : 87,4 %
- 5. Grok 4 : Niveau 1 : 91,8 %, Niveau 2 : 87,9 %, Niveau 3 : 80,4 %, Composite : 87,3 %
- 6. MiniMax M2.5 : Niveau 1 : 85,2 %, Niveau 2 : 76,2 %, Niveau 3 : 52,7 %, Composite : 73,0 %
Principales conclusions
- Les classements varient entre les niveaux : Gemini est en tête au Niveau 1 (97,9 %) mais chute à la 3e place au Niveau 3 (87,5 %). Opus est 3e sur les recherches mais 1er sur l'analyse de cycles, montrant que mémoriser les tables de vapeur ≠ raisonnement.
- L'eau supercritique perturbe tout : écart de 44,5 points de pourcentage. Les modèles mémorisent les tables des manuels mais ne peuvent pas gérer les régions non linéaires près du point critique. Un modèle a donné h = 1 887 kJ/kg alors que la valeur correcte est 2 586 kJ/kg — une erreur de 27 %.
- Le R-134a est le point aveugle : Tous les modèles chutent à 44–63 % sur les problèmes de réfrigérant contre 75–98 % sur l'eau, montrant un biais dans les données d'entraînement.
- La cohérence d'exécution varie d'un facteur 10 : GPT-5.4 σ = ±0,1 % sur le Niveau 3 contre DeepSeek-R1 σ = ±2,5 % sur le Niveau 2.
Ressources open source
- Jeu de données : https://huggingface.co/datasets/olivenet/thermoqa
- Code : https://github.com/olivenet-iot/ThermoQA
📖 Read the full source: r/LocalLLaMA
👀 See Also
Le codage agentique est un piège : Dette cognitive et atrophie
Lars Faye soutient que les outils de codage agentifs comme Claude Code provoquent une atrophie cognitive, un verrouillage fournisseur et une complexité accrue, déplaçant la charge de l'écriture de code vers la révision du code généré, ce qui dégrade les compétences des développeurs.
Comptage des glucides par IA échoue à la reproductibilité : 27 000 requêtes montrent un écart de 429 g sur une seule photo
Une étude portant sur 26 904 requêtes IA à travers 4 modèles a révélé que Gemini 2.5 Pro faisait varier ses estimations de glucides pour une seule photo de paella de 55g à 484g — un écart potentiel de 42,9 unités d'insuline. Claude présentait seulement 2,4 % de variation médiane.
La nécessité d'une gouvernance relationnelle dans les systèmes multi-agents
Les cadres de gouvernance actuels se concentrent sur l'identité, les permissions et les interrupteurs d'arrêt d'urgence, mais ne parviennent pas à aborder la coordination entre les agents. La recherche montre que les interactions d'agent à agent nécessitent des solutions spécifiquement conçues au-delà des conversations humain-agent simplement mises à l'échelle.
Évolution de l'architecture du cache KV : de GPT-2 à Mamba
L'analyse des coûts mémoire du cache KV montre que GPT-2 utilisait 300 Kio/par jeton, Llama 3 l'a réduit à 128 Kio/par jeton avec l'attention par requêtes groupées, et DeepSeek V3 a atteint 68,6 Kio/par jeton avec l'attention latente multi-têtes. Mamba/SSM éliminent entièrement le cache KV grâce à des états cachés de taille fixe.