Reef Infra의 OpenClaw-RL, 사용자 수정을 훈련 데이터로 전환 — 세션 매칭이 관건

Reef Infra의 OpenClaw-RL 레시피는 다음 사용자 메시지를 학습 신호로 취급합니다. 하지만 그 전에 어려운 문제를 먼저 해결해야 합니다. 바로 그 교정이 실제로 어느 이전 턴을 가리키는지 파악하는 일입니다. "아니, 단계는 유지하고 그냥 모든 걸 불릿 포인트로 넣지 마" 같은 메시지에는 실제 피드백이 담겨 있지만, 시스템은 무엇이 거부되었는지, 무엇이 남아야 하는지, 어느 답변이 교정 대상인지 추론해야 합니다.

파이프라인 작동 방식

• 기록된 추론 트래픽에서 대화를 재구성합니다.
• 완료된 턴과 그 이후 상태를 별도의 PRM 판정기에 보냅니다.
• 판정된 턴을 학습용으로 배치 처리합니다.

학습에는 두 가지 항이 사용됩니다. 수용은 온폴리시 증류 항이 소비하는 사후 힌트를 생성할 수 있고, 다른 항은 샘플링된 토큰에 대한 PPO 스타일 업데이트입니다. 둘 다 학습 가능한 정책에 대한 파라미터 업데이트입니다. 이는 메모리 쓰기가 아니라 가중치 변경입니다.

세션 상관관계, 배포 시 발목 잡는 세부 사항

하네스는 같은 대화의 호출에 안정적인 x-reef-tag-session 값을 붙여야 합니다. 이것이 없으면 Reef Infra는 클라이언트가 다시 보내는 트랜스크립트를 매칭하는 방식으로 폴백하는데, 컴팩션(압축)이나 슬라이딩 윈도가 그 매칭을 깨뜨릴 수 있습니다. 매칭되지 않은 턴은 판정기에 도달하지 못하고 학습 데이터가 되지 못하므로, 대시보드에서 건강해 보이는 트래픽이 학습 신호를 전혀 만들어내지 못할 수 있습니다.

포함된 실험, 그리고 그것이 입증하지 못하는 것

저장소에는 작은 적응 테스트가 포함되어 있습니다. 시뮬레이션된 학생이 굵은 글씨나 목록이 포함된 숙제 답변을 거부합니다. 기록된 실행에서 에이전트는 세션 14에서 연속 세 번 첫 답변 통과에 도달합니다. 이는 첫 36개 세션에 대한 단일 실행일 뿐이며, 임의의 사용자 선호도가 그 속도로 수렴한다는 증거는 아닙니다.

실행에 필요한 것

• 학습 가능한 모델
• GPU 스택
• PRM 판정기

흥미로운 점은 피드백 추론, 세션 매칭, 실제 가중치 업데이트가 각각 독립적으로 검사할 수 있는 분리 가능한 구성 요소라는 것입니다. 비교를 위해 참고할 만한 점: 같은 불만을 Markdown 메모리 파일에 저장하는 것은 완전히 다른 메커니즘을 사용합니다. 판정기도, 정책 업데이트도 없습니다.