A Skillware adiciona um gerador de dados sintéticos com pontuação de entropia para ajuste fino de modelos locais.

A Skillware adicionou uma nova habilidade de Gerador de Dados Sintéticos à sua biblioteca, projetada especificamente para ajustar modelos locais enquanto aborda o problema de dados sintéticos genéricos que levam ao colapso do modelo.

Principais Recursos

A ferramenta inclui várias capacidades específicas:

• Pontuação de Entropia: Usa uma heurística de taxa de compressão zlib para pontuar matematicamente quão diversa é a saída antes de salvá-la. Isso ajuda a identificar e filtrar dados de baixa entropia que poderiam contribuir para o colapso do modelo.
• Pronto para Local: Funciona pronta para uso com Ollama para integração com modelos locais. Também suporta modelos Gemini e Anthropic para gerar lotes de alto raciocínio quando necessário.
• Saída Estruturada: Gera lotes JSON perfeitos formatados especificamente para pipelines de ajuste fino .jsonl, tornando-os prontos para uso imediato em fluxos de trabalho de treinamento.

Problema Abordado

A ferramenta visa especificamente o problema em que dados sintéticos genéricos fazem com que os modelos "repitam a si mesmos" durante o ajuste fino, um fenômeno conhecido como colapso do modelo. Ao pontuar a diversidade da saída antes de salvar, ajuda a garantir que os dados de treinamento mantenham variação suficiente.

A fonte indica que esta é uma nova adição à biblioteca da Skillware, disponível para desenvolvedores que trabalham com modelos locais e precisam de melhor geração de dados sintéticos para tarefas de ajuste fino.