Reef Infra's OpenClaw-RL transforma correções do usuário em dados de treinamento — a correspondência de sessão é o problema

A receita OpenClaw-RL da Reef Infra trata a próxima mensagem do usuário como um sinal de treinamento — mas somente depois de resolver a parte difícil: descobrir a qual turno anterior a correção realmente se refere. Uma mensagem como "Não, mantenha os passos, só pare de colocar tudo em tópicos" contém feedback real, mas deixa o sistema inferir o que foi rejeitado, o que deve permanecer e qual resposta está sendo corrigida.

Como o pipeline funciona

• Reconstrói conversas a partir do tráfego de inferência registrado.
• Envia um turno concluído mais seu estado seguinte a um juiz PRM separado.
• Agrupa os turnos avaliados para treinamento.

O treinamento usa dois termos. A aceitação pode produzir uma dica em retrospecto consumida pelo termo de destilação on-policy; o outro termo é uma atualização no estilo PPO sobre os tokens amostrados. Ambos são atualizações de parâmetros em uma política treinável — isto não é uma gravação de memória, é uma mudança de pesos.

A correlação de sessão é o detalhe de implantação que machuca

O harness deve anexar um valor estável x-reef-tag-session às chamadas na mesma conversa. Sem isso, a Reef Infra recorre à correspondência dos transcritos que os clientes reenviam — e a compactação ou uma janela deslizante pode quebrar essa correspondência. Um turno sem correspondência nunca chega ao juiz e nunca se torna dado de treinamento, então um tráfego que parece saudável nos seus dashboards pode produzir zero sinal de aprendizado.

O experimento incluído e o que ele não prova

O repositório traz um pequeno teste de adaptação: um estudante simulado rejeita respostas de lição de casa que contenham texto em negrito ou listas. Na execução registrada, o agente atinge três aprovações consecutivas na primeira resposta na sessão 14. Isso é uma execução sobre as primeiras 36 sessões — não é evidência de que preferências arbitrárias de usuários convirjam nessa taxa.

O que você precisa para executá-lo

• Um modelo treinável
• Uma pilha de GPU
• O juiz PRM

A parte interessante é que a inferência de feedback, a correspondência de sessão e a atualização real dos pesos são componentes separáveis que você pode inspecionar independentemente. Vale notar para comparação: salvar a mesma reclamação em um arquivo de memória Markdown exercita um mecanismo completamente diferente — sem juiz, sem atualização de política.