Рецепт OpenClaw-RL от Reef ставит обновления весов со счётом за шлюзом выпуска

Оценить задачу OpenClaw — это простая часть. Куда сложнее вопрос: что произойдёт с полученным обновлением весов, прежде чем ему позволят коснуться рабочего serving-состояния. В репозитории Reef есть конкретный рецепт эволюции весов OpenClaw-RL, который ставит это обновление за release-гейт, а не доверяет одной лишь оценке.

Рецепт конкретно

Конфигурация ограничена и конкретна — воспринимайте эти числа как цель для воспроизведения, а не как общий бенчмарк:

• 72 задачи GSM8K рассматриваются как 72 задачи — каждая задача является отдельной единицей в цикле.
• Qwen3-4B выполняет роли политики и модели процессного вознаграждения.
• Qwen3-32B — студент.
• Семь GPU для запуска.
• Проект сообщает о достижении критерия трёх последовательных прохождений на 14-й сессии.
• Закоммиченная кривая обучения охватывает первые 36 сессий.

Логика гейтинга — самая интересная часть. Оценённое обновление не повышается до замены рабочей версии, пока не пройдёт проверку — в данном случае три последовательных прохождения. В этом и разница между «модель вознаграждения одобрила» и «это безопасно отдавать в продакшен».

Что эти числа означают (и не означают)

Это цель для воспроизведения. Они не бенчмаркают все рабочие нагрузки OpenClaw и не устанавливают универсальный адаптер харнесса OpenClaw. Если вы читаете кривую 14-й сессии из 36 как универсальное утверждение, вы читаете её неправильно. Это один рецепт на одном семействе задач (GSM8K) с одним стеком моделей.

Рекомендуемый первый шаг

Если вы хотите проверить подход на вменяемость, прежде чем адаптировать его:

1. Начните с задачи OpenClaw, у которой есть объективный верификатор — никакой оценки «на ощущениях».
2. Воспроизведите рецепт как есть.
3. Убедитесь, что намеренно плохой кандидат весов не может изменить serving-состояние. Именно это свойство release-гейта вас на самом деле интересует.
4. И только после того, как это пройдёт, стоит спрашивать, переносится ли оптимизация на вашу реальную задачу.

Шаг 3 — тот, который люди пропускают. Если мусорное обновление может проскользнуть через гейт, остальной пайплайн — просто декорация.

Для кого это

Для разработчиков, строящих циклы эволюции весов в стиле RL поверх OpenClaw, которым нужен рабочий референс для гейтинга промоушенов, а не абстрактный пайплайн «оценка хорошая — отгружаем».