Precisión del Marco de Razonamiento STAR Cae del 100% al 0% en Prompts de Producción

Un investigador probó el marco de razonamiento STAR en aislamiento frente a un prompt de producción y descubrió que la precisión cayó del 100% al 0-30%. Anteriormente se había demostrado que el marco elevaba la precisión de Claude en un problema de restricción implícita del 0% al 100% en condiciones de prueba limpias.

Cuando se probó exactamente el mismo marco STAR dentro de un prompt de producción real—un prompt de sistema de 60 líneas de una aplicación de coaching para entrevistas que había crecido naturalmente durante meses de desarrollo—la precisión cayó drásticamente. El prompt de producción contenía pautas de estilo "Comienza con detalles específicos" y "Primero el punto" que hicieron que el modelo generara una conclusión antes de que el razonamiento STAR pudiera ejecutarse.

En un caso, el modelo generó: "Respuesta corta: Caminar." seguido de un desglose STAR completo que identificó correctamente la restricción y concluyó "Conduce tu auto al lavado." El razonamiento STAR funcionó correctamente, pero la respuesta incorrecta ya se había comprometido en la salida inicial.

El hallazgo clave es que en la generación autoregresiva, una vez que el modelo genera un token, ese token se convierte en parte del contexto de condicionamiento. La instrucción "Comienza con detalles específicos" desencadenó un compromiso prematuro, y el razonamiento STAR que siguió se convirtió en una racionalización posterior en lugar de guiar la respuesta inicial.

La implicación práctica es que los desarrolladores que construyen sistemas de IA de producción deben validar los marcos de razonamiento dentro de sus prompts reales, no en pruebas limpias de 10 líneas. Una técnica que obtiene 100% en aislamiento puede obtener 0% en producción debido a instrucciones conflictivas o a la estructura del prompt.