OpenClaw-RL от Reef Infra превращает пользовательские исправления в обучающие данные — подвох в сопоставлении сессий

Рецепт OpenClaw-RL от Reef Infra рассматривает следующее сообщение пользователя как сигнал обучения — но только после решения сложной задачи: определить, к какому именно предыдущему ходу относится исправление. Сообщение вроде «Нет, шаги оставь, просто перестань всё оформлять маркированными списками» содержит реальную обратную связь, но при этом система должна сама догадаться, что было отклонено, что следует сохранить и какой именно ответ исправляется.

Как работает пайплайн

• Восстанавливает диалоги из записанного трафика инференса.
• Отправляет завершённый ход вместе с его последующим состоянием отдельному судье PRM.
• Группирует оценённые ходы для обучения.

Обучение использует два слагаемых. Принятие может породить подсказку с высоты прожитых лет, которую использует слагаемое дистилляции по текущей политике; второе слагаемое — это обновление в стиле PPO по выбранным токенам. Оба представляют собой обновление параметров обучаемой политики — это не запись в память, а изменение весов.

Корреляция сессий — та деталь развёртывания, которая кусается

Обвязка должна прикреплять стабильное значение x-reef-tag-session к вызовам в рамках одного диалога. Без него Reef Infra переходит к сопоставлению транскриптов, которые клиенты отправляют повторно, — а компактификация или скользящее окно могут нарушить это сопоставление. Несопоставленный ход никогда не доходит до судьи и никогда не становится обучающими данными, поэтому трафик, который на ваших дашбордах выглядит здоровым, может давать нулевой сигнал обучения.

Включённый эксперимент и что он не доказывает

В репозитории есть небольшой тест на адаптацию: смоделированный студент отклоняет ответы на домашние задания, содержащие жирный текст или списки. В записанном прогоне агент достигает трёх последовательных прохождений с первого ответа на сессии 14. Это один прогон по первым 36 сессиям — не доказательство того, что произвольные пользовательские предпочтения сходятся с такой скоростью.

Что нужно для запуска

• Обучаемая модель
• Стек GPU
• Судья PRM

Самое интересное — то, что вывод обратной связи, сопоставление сессий и фактическое обновление весов являются разделяемыми компонентами, которые можно исследовать независимо. Стоит отметить для сравнения: сохранение той же жалобы в файле памяти Markdown задействует совершенно другой механизм — ни судьи, ни обновления политики.