Ajuste fino do Qwen2.5-7B para 96% do Claude Haiku com US$3 e zero rotuladores humanos

Um desenvolvedor ajustou o Qwen2.5-7B para alcançar 96% do desempenho composto do Claude Haiku em uma tarefa de raciocínio de decisão específica do domínio — gastando apenas ~$3 em chamadas de API e usando zero anotadores humanos. O método, chamado DV-DPO (Otimização Direta de Preferência Validada por Decisão), gera autonomamente sinal de treinamento executando um conselho adversarial de múltiplas vozes.

Como o DV-DPO Funciona

O pipeline executa um conselho de 3 vozes em cada pergunta de decisão, produzindo uma síntese. Em seguida, as duas vozes perdedoras examinam a síntese. Se a síntese for revisada sob essa pressão adversarial, um par DPO é formado: a versão pós-revisão é a resposta escolhida, e a versão pré-revisão é a resposta rejeitada. Se a síntese se mantiver — nenhum par é criado. Isso garante que apenas erros genuínos de raciocínio gerem sinal de treinamento, não preferências de formato ou variação de amostragem.

Resultados

• 1.040 pares de treinamento gerados no total (~$3 nas taxas do Haiku)
• Cara a cara com Claude Haiku: Formato 100%, Compromissos 100%, Contexto 89%, Composto 96%
• Latência: 11s na GPU T4 (quantizado em 4 bits) vs 3s do Haiku
• Taxa de falha adversarial: 2% em 96 perguntas direcionadas

Ciclo de Melhoria Autônoma

O sistema agora executa um ciclo automatizado: detector_de_falhas → auto_red_team → pares_DPO → retreinar → reimplantar → avaliar. Os pares da versão 5 estão se acumulando. O modelo ajustado está disponível como um arquivo GGUF pronto para Ollama.

Para Quem é Isso

Desenvolvedores que constroem agentes de raciocínio específicos de domínio e querem migrar de APIs pagas por chamada para um modelo local ajustado, sem anotação humana cara.