Precisão da Estrutura de Raciocínio STAR Cai de 100% para 0% em Prompts de Produção

Um pesquisador testou o framework de raciocínio STAR isoladamente versus em um prompt de produção e descobriu que a precisão caiu de 100% para 0-30%. O framework havia sido mostrado anteriormente para elevar a precisão do Claude em um problema de restrição implícita de 0% para 100% em condições de teste limpas.

Quando o exato mesmo framework STAR foi testado dentro de um prompt de produção real—um prompt de sistema de 60 linhas de um aplicativo de coaching para entrevistas que cresceu naturalmente ao longo de meses de desenvolvimento—a precisão caiu drasticamente. O prompt de produção continha diretrizes de estilo "Comece com especificidades" e "Ponto primeiro" que fizeram o modelo produzir uma conclusão antes que o raciocínio STAR pudesse ser executado.

Em um caso, o modelo produziu: "Resposta curta: Caminhe." seguido por uma análise STAR completa que identificou corretamente a restrição e concluiu "Dirija seu carro para a lavagem." O raciocínio STAR funcionou corretamente, mas a resposta errada já havia sido comprometida na saída inicial.

A descoberta principal é que na geração autoregressiva, uma vez que o modelo produz um token, esse token se torna parte do contexto de condicionamento. A instrução "Comece com especificidades" desencadeou um comprometimento prematuro, e o raciocínio STAR que se seguiu tornou-se racionalização post-hoc em vez de guiar a resposta inicial.

A implicação prática é que desenvolvedores construindo sistemas de IA de produção devem validar frameworks de raciocínio dentro de seus prompts reais, não em testes limpos de 10 linhas. Uma técnica que pontua 100% em isolamento pode pontuar 0% em produção devido a instruções conflitantes ou estrutura do prompt.