Reef InfraのOpenClaw-RL、ユーザーの修正を訓練データに変換 — セッションマッチングが鍵

Reef InfraのOpenClaw-RLレシピは、次のユーザーメッセージを訓練シグナルとして扱います。ただし、難しい部分を解決した後の話です。つまり、その修正が実際にどの以前のターンを指しているのかを特定する必要があります。「いや、手順は残して、ただ全部を箇条書きにするのはやめて」といったメッセージには本物のフィードバックが含まれていますが、何が却下され、何を残すべきか、どの返信が修正対象なのかをシステムが推測しなければなりません。

パイプラインの仕組み

• 記録された推論トラフィックから会話を再構築します。
• 完了したターンとその後の状態を、別個のPRM判定器に送ります。
• 判定済みのターンを訓練用にバッチ処理します。

訓練には2つの項があります。承認は、オンポリシー蒸留項で消費される後知恵のヒントを生成できます。もう一方の項は、サンプリングされたトークンに対するPPO風の更新です。どちらも訓練可能なポリシーへのパラメータ更新であり、メモリ書き込みではなく重みの変更です。

セッションの紐付けが痛い目を見るデプロイ上の重要ポイント

ハーネスは、同じ会話内の呼び出しに安定したx-reef-tag-session値を付けるべきです。これがないと、Reef Infraはクライアントが再送するトランスクリプトの照合にフォールバックしますが、コンパクションやスライディングウィンドウによってその照合が壊れることがあります。一致しないターンは判定器に到達せず、訓練データにもならないため、ダッシュボード上では健全に見えるトラフィックが学習シグナルをまったく生まない可能性があります。

含まれる実験と、それが証明しないこと

リポジトリには小さな適応テストが同梱されています。シミュレートされた生徒が、太字やリストを含む宿題の回答を拒否します。記録された実行では、エージェントはセッション14で3回連続の初回返信合格に到達します。これは最初の36セッションにわたる1回の実行にすぎず、任意のユーザー選好がその速度で収束する証拠ではありません。

実行に必要なもの

• 訓練可能なモデル
• GPUスタック
• PRM判定器

興味深いのは、フィードバック推論、セッション照合、実際の重み更新が分離可能なコンポーネントであり、個別に検査できることです。比較のために注目すべき点として、同じ苦情をMarkdownメモリファイルに保存するのは、まったく異なるメカニズムを働かせます。判定器もポリシー更新もありません。