Skillware ajoute un générateur de données synthétiques avec notation d'entropie pour l'affinage local des modèles.

Skillware a ajouté une nouvelle compétence de Générateur de Données Synthétiques à sa bibliothèque, conçue spécifiquement pour le fine-tuning des modèles locaux tout en abordant le problème des données synthétiques génériques menant à l'effondrement du modèle.

Fonctionnalités Clés

L'outil inclut plusieurs capacités spécifiques :

• Évaluation d'Entropie : Utilise une heuristique de taux de compression zlib pour évaluer mathématiquement la diversité de la sortie avant de la sauvegarder. Cela aide à identifier et filtrer les données à faible entropie qui pourraient contribuer à l'effondrement du modèle.
• Prêt pour Local : Fonctionne immédiatement avec Ollama pour l'intégration de modèles locaux. Prend également en charge les modèles Gemini et Anthropic pour générer des lots à raisonnement élevé lorsque nécessaire.
• Sortie Structurée : Génère des lots JSON parfaitement formatés spécifiquement pour les pipelines de fine-tuning .jsonl, le rendant prêt à être utilisé immédiatement dans les flux de travail d'entraînement.

Problème Résolu

L'outil cible spécifiquement le problème où les données synthétiques génériques amènent les modèles à "se paraphraser" pendant le fine-tuning, un phénomène connu sous le nom d'effondrement du modèle. En évaluant la diversité des sorties avant de les sauvegarder, il aide à garantir que les données d'entraînement maintiennent une variation suffisante.

La source indique qu'il s'agit d'un nouvel ajout à la bibliothèque Skillware, disponible pour les développeurs travaillant avec des modèles locaux qui ont besoin d'une meilleure génération de données synthétiques pour les tâches de fine-tuning.