Skillware añade generador de datos sintéticos con puntuación de entropía para ajuste local de modelos.

Skillware ha agregado una nueva habilidad de Generador de Datos Sintéticos a su biblioteca, diseñada específicamente para ajustar modelos locales mientras aborda el problema de que los datos sintéticos genéricos conduzcan al colapso del modelo.

Características Principales

La herramienta incluye varias capacidades específicas:

• Puntuación de Entropía: Utiliza una heurística de relación de compresión zlib para puntuar matemáticamente cuán diversa es la salida antes de guardarla. Esto ayuda a identificar y filtrar datos de baja entropía que podrían contribuir al colapso del modelo.
• Listo para Uso Local: Funciona de inmediato con Ollama para integración con modelos locales. También es compatible con modelos Gemini y Anthropic para generar lotes de alto razonamiento cuando sea necesario.
• Salida Estructurada: Genera lotes JSON perfectos formateados específicamente para pipelines de ajuste fino .jsonl, haciéndolos listos para uso inmediato en flujos de trabajo de entrenamiento.

Problema Abordado

La herramienta se enfoca específicamente en el problema donde los datos sintéticos genéricos hacen que los modelos "repitan lo que dicen" durante el ajuste fino, un fenómeno conocido como colapso del modelo. Al puntuar la diversidad de la salida antes de guardarla, ayuda a garantizar que los datos de entrenamiento mantengan una variación suficiente.

La fuente indica que esta es una nueva adición a la biblioteca de Skillware, disponible para desarrolladores que trabajan con modelos locales y necesitan una mejor generación de datos sintéticos para tareas de ajuste fino.