RLVRが小型のファインチューニングモデルを支援する場合：12データセットによる分析

最近の実験では、小規模言語モデル（1.7Bパラメータ）の教師ありファインチューニング（SFT）に強化学習段階（RLVR）を追加することで、測定可能なメリットが得られるかどうかが検証されました。研究チームは、このアプローチが有効な場合とそうでない場合を正確に特定するため、12のデータセットで制御実験を実施しました。

主な発見

結果はタスクタイプによって明確に分かれました：

• テキスト生成タスク（QA、ドキュメンテーション、PII編集）：平均+2.0パーセントポイントの向上。このカテゴリのすべてのデータセットで改善が見られました。
• 構造化タスク（分類、関数呼び出し）：平均-0.7パーセントポイントの低下。このカテゴリの2つのデータセットでは実際に後退しました。

このパターンが生じる理由

研究者らは、ファインチューニング済みモデルが既にほとんどの構造化出力を正しく生成できるようになると、GRPO（グループ相対ポリシー最適化）がほぼゼロの勾配を生成すると説明しています。基本的に、強化学習段階が活用できる学習シグナルが残っていないのです。

生成タスクの場合、出力空間が十分に広いため、RLはSFTが見逃していた改善点を引き続き発見できます——特に、厳密な文字列マッチングではなく意味的正しさを報酬とする場合に顕著です。

実践的な判断基準

この研究は開発者向けにシンプルなガイドラインを提供しています：

• 分類または厳密な関数呼び出し → SFTのみを使用
• QA、ドキュメンテーション、抽出タスク → SFTにRLVRを追加

方法論、テストされた全12のデータセット、および生データは完全な分析で公開されています。