Quando o RLVR Ajuda Pequenos Modelos Ajustados Finamente: Uma Análise de 12 Conjuntos de Dados

Um experimento recente testou se adicionar uma etapa de aprendizado por reforço (RLVR) após o ajuste fino supervisionado (SFT) para modelos de linguagem pequenos (1,7 bilhão de parâmetros) oferece benefícios mensuráveis. A equipe realizou um experimento controlado em 12 conjuntos de dados para determinar exatamente quando essa abordagem ajuda e quando não ajuda.

Principais Descobertas

Os resultados se dividem claramente por tipo de tarefa:

• Tarefas de geração de texto (QA, documentação, redação de PII): melhoria média de +2,0 pontos percentuais. Cada conjunto de dados nesta categoria mostrou melhoria.
• Tarefas estruturadas (classificação, chamada de função): queda média de -0,7 pontos percentuais. Dois conjuntos de dados nesta categoria realmente regrediram.

Por Que Esse Padrão Surge

Os pesquisadores explicam que, uma vez que um modelo ajustado já acerta a maioria das saídas estruturadas, o GRPO (Group Relative Policy Optimization) produz gradientes quase zero. Essencialmente, não há sinal de aprendizado restante para a etapa de aprendizado por reforço trabalhar.

Para tarefas generativas, o espaço de saída é grande o suficiente para que o RL continue encontrando melhorias que o SFT perde — particularmente ao recompensar a correção semântica em vez da correspondência exata de strings.

Regra de Decisão Prática

O estudo fornece uma diretriz simples para desenvolvedores:

• Classificação ou chamada de função estrita → Use apenas SFT
• QA, documentação, tarefas de extração → Adicione RLVR após o SFT

A metodologia, todos os 12 conjuntos de dados testados e os números brutos estão disponíveis na análise completa.