ThermoQA: Punto de Referencia Abierto para Ingeniería Termodinámica Evalúa Modelos de Lenguaje en 293 Problemas de Cálculo
Resumen del Punto de Referencia ThermoQA
ThermoQA es un punto de referencia abierto para termodinámica de ingeniería con 293 problemas de cálculo de respuesta abierta en tres niveles:
- Nivel 1: Consultas de propiedades (110 preguntas) — Ejemplo: "¿cuál es la entalpía del agua a 5 MPa, 400°C?"
- Nivel 2: Análisis de componentes (101 preguntas) — Turbinas, compresores, intercambiadores de calor con cálculos de energía/entropía/exergía
- Nivel 3: Análisis de ciclo completo (82 preguntas) — Rankine, Brayton, turbinas de gas de ciclo combinado
La verdad de referencia proviene de CoolProp (IAPWS-IF97). No hay opción múltiple: los modelos deben producir valores numéricos exactos.
Resultados del Ranking (media de 3 ejecuciones)
- 1. Claude Opus 4.6: Nivel 1: 96.4%, Nivel 2: 92.1%, Nivel 3: 93.6%, Compuesto: 94.1%
- 2. GPT-5.4: Nivel 1: 97.8%, Nivel 2: 90.8%, Nivel 3: 89.7%, Compuesto: 93.1%
- 3. Gemini 3.1 Pro: Nivel 1: 97.9%, Nivel 2: 90.8%, Nivel 3: 87.5%, Compuesto: 92.5%
- 4. DeepSeek-R1: Nivel 1: 90.5%, Nivel 2: 89.2%, Nivel 3: 81.0%, Compuesto: 87.4%
- 5. Grok 4: Nivel 1: 91.8%, Nivel 2: 87.9%, Nivel 3: 80.4%, Compuesto: 87.3%
- 6. MiniMax M2.5: Nivel 1: 85.2%, Nivel 2: 76.2%, Nivel 3: 52.7%, Compuesto: 73.0%
Hallazgos Clave
- Los rankings cambian entre niveles: Gemini lidera el Nivel 1 (97.9%) pero cae al #3 en el Nivel 3 (87.5%). Opus es #3 en consultas pero #1 en análisis de ciclos, mostrando que memorizar tablas de vapor ≠ razonamiento.
- El agua supercrítica rompe todo: diferencia de 44.5 puntos porcentuales. Los modelos memorizan tablas de libros de texto pero no pueden manejar regiones no lineales cerca del punto crítico. Un modelo dio h = 1,887 kJ/kg donde el valor correcto es 2,586 kJ/kg — un error del 27%.
- R-134a es el punto ciego: Todos los modelos caen al 44–63% en problemas de refrigerante vs 75–98% en agua, mostrando sesgo en los datos de entrenamiento.
- La consistencia entre ejecuciones varía 10×: GPT-5.4 σ = ±0.1% en Nivel 3 vs DeepSeek-R1 σ = ±2.5% en Nivel 2.
Recursos de Código Abierto
- Conjunto de datos: https://huggingface.co/datasets/olivenet/thermoqa
- Código: https://github.com/olivenet-iot/ThermoQA
📖 Leer la fuente completa: r/LocalLLaMA
👀 Ver también
Analizando el Consumo de Tokens en la Ventana de Contexto de 1 Millón de Claude: Los Datos Muestran Crecimiento Ilimitado y Acumulación de Fallos de Caché
El análisis de la ventana de contexto de 1 millón de tokens de Claude revela dos factores que se combinan y causan un consumo rápido de tokens: el crecimiento ilimitado del contexto sin compactación automática y las costosas fallas de caché en tamaños de contexto más grandes. El autor proporciona un script de Python para analizar el uso personal de tokens a partir de archivos de sesión JSONL.
Minions de Stripe: Mejorando la Productividad de los Desarrolladores con Agentes de Codificación de Un Solo Uso de Extremo a Extremo.
Los Minions de Stripe son agentes de codificación de un solo uso, de extremo a extremo, diseñados para aumentar la productividad de los desarrolladores al automatizar tareas complejas dentro del ecosistema de Stripe.
Economía de los Videos de Sora AI: Cada Usuario de $20 Cuesta $65 en Cómputo a OpenAI
La aplicación de generación de videos con IA Sora de OpenAI cuesta aproximadamente $65 en cómputo por cada usuario de $20/mes, con costos máximos de inferencia estimados en $15 millones diarios frente a $2.1 millones de ingresos totales de por vida.
Antrópico analiza 1 millón de conversaciones de Claude: 6% busca orientación personal, tasa de adulación del 9%, mejorado en Opus 4.7
Análisis de 1 millón de conversaciones de Claude revela que el 6% busca orientación personal, y las relaciones presentan la mayor adulación (25%). Opus 4.7 y Mythos Preview reducen la adulación a la mitad usando datos sintéticos de entrenamiento.