Reef Infra OpenClaw-RL transforme les corrections des utilisateurs en données d'entraînement — la correspondance de session est le piège

La recette OpenClaw-RL de Reef Infra traite le message utilisateur suivant comme un signal d'entraînement — mais seulement après avoir résolu la partie difficile : déterminer à quel tour antérieur la correction fait réellement référence. Un message comme « Non, garde les étapes, arrête simplement de tout mettre en puces » contient un vrai retour, mais laisse le système déduire ce qui a été rejeté, ce qui doit rester, et quelle réponse est corrigée.

Comment fonctionne le pipeline

• Reconstruit les conversations à partir du trafic d'inférence enregistré.
• Envoie un tour terminé accompagné de son état suivant à un juge PRM distinct.
• Regroupe les tours jugés pour l'entraînement.

L'entraînement utilise deux termes. L'acceptation peut produire un indice rétrospectif consommé par le terme de distillation on-policy ; l'autre terme est une mise à jour de style PPO sur les tokens échantillonnés. Les deux sont des mises à jour de paramètres d'une politique entraînable — ce n'est pas une écriture en mémoire, c'est un changement de poids.

La corrélation de session est le détail de déploiement qui fait mal

Le harnais doit attacher une valeur stable x-reef-tag-session aux appels d'une même conversation. Sans cela, Reef Infra se rabat sur la correspondance des transcriptions que les clients renvoient — et la compaction ou une fenêtre glissante peut briser cette correspondance. Un tour non apparié n'atteint jamais le juge et ne devient jamais une donnée d'entraînement, donc un trafic qui semble sain sur vos tableaux de bord peut produire zéro signal d'apprentissage.

L'expérience incluse, et ce qu'elle ne prouve pas

Le dépôt fournit un petit test d'adaptation : un étudiant simulé rejette les réponses de devoirs contenant du texte en gras ou des listes. Dans l'exécution enregistrée, l'agent atteint trois passes consécutives à la première réponse à la session 14. C'est une seule exécution sur les 36 premières sessions — pas une preuve que des préférences utilisateur arbitraires convergent à ce rythme.

Ce qu'il faut pour le faire tourner

• Un modèle entraînable
• Une pile GPU
• Le juge PRM

La partie intéressante, c'est que l'inférence des retours, l'appariement de session et la mise à jour réelle des poids sont des composants séparables que vous pouvez inspecter indépendamment. À noter pour comparaison : enregistrer la même plainte dans un fichier mémoire Markdown sollicite un mécanisme complètement différent — pas de juge, pas de mise à jour de politique.