OpenClaw-RL de Reef Infra convierte las correcciones del usuario en datos de entrenamiento — la coincidencia de sesiones es el problema

La receta OpenClaw-RL de Reef Infra trata el siguiente mensaje del usuario como una señal de entrenamiento, pero solo después de resolver la parte difícil: determinar a qué turno anterior se refiere realmente la corrección. Un mensaje como "No, mantén los pasos, solo deja de poner todo en viñetas" contiene retroalimentación real, pero deja al sistema la tarea de inferir qué se rechazó, qué debe permanecer y qué respuesta se está corrigiendo.

Cómo funciona el pipeline

• Reconstruye conversaciones a partir del tráfico de inferencia registrado.
• Envía un turno completado más su estado siguiente a un juez PRM independiente.
• Agrupa los turnos evaluados para entrenamiento.

El entrenamiento usa dos términos. La aceptación puede producir una pista retrospectiva consumida por el término de destilación on-policy; el otro término es una actualización estilo PPO sobre los tokens muestreados. Ambos son actualizaciones de parámetros sobre una política entrenable: esto no es una escritura en memoria, es un cambio de pesos.

La correlación de sesión es el detalle de despliegue que muerde

El harness debe adjuntar un valor estable de x-reef-tag-session a las llamadas en la misma conversación. Sin él, Reef Infra recurre a emparejar las transcripciones que los clientes reenvían, y la compactación o una ventana deslizante pueden romper ese emparejamiento. Un turno no emparejado nunca llega al juez y nunca se convierte en datos de entrenamiento, por lo que el tráfico que parece saludable en tus paneles puede producir cero señal de aprendizaje.

El experimento incluido, y lo que no demuestra

El repositorio incluye una pequeña prueba de adaptación: un estudiante simulado rechaza respuestas de tareas que contienen texto en negrita o listas. En la ejecución registrada, el agente alcanza tres aprobaciones consecutivas de primera respuesta en la sesión 14. Esa es una sola ejecución sobre las primeras 36 sesiones, no evidencia de que preferencias arbitrarias de usuarios converjan a ese ritmo.

Qué necesitas para ejecutarlo

• Un modelo entrenable
• Un stack de GPU
• El juez PRM

Lo interesante es que la inferencia de retroalimentación, el emparejamiento de sesión y la actualización real de pesos son componentes separables que puedes inspeccionar de forma independiente. Vale la pena señalar para comparación: guardar la misma queja en un archivo de memoria Markdown ejercita un mecanismo completamente diferente: sin juez, sin actualización de política.