Skillware ergänzt um einen synthetischen Datengenerator mit Entropiebewertung für lokales Modell-Fine-Tuning.

Skillware hat einen neuen Synthetic Data Generator-Skill zu seiner Bibliothek hinzugefügt, der speziell für das Fine-Tuning lokaler Modelle entwickelt wurde und dabei das Problem angeht, dass generische synthetische Daten zu Modellkollaps führen können.

Hauptmerkmale

Das Tool umfasst mehrere spezifische Funktionen:

• Entropie-Bewertung: Verwendet eine zlib-Kompressionsverhältnis-Heuristik, um mathematisch zu bewerten, wie vielfältig die Ausgabe ist, bevor sie gespeichert wird. Dies hilft dabei, niedrige Entropie-Daten zu identifizieren und herauszufiltern, die zu Modellkollaps beitragen könnten.
• Lokale Bereitschaft: Funktioniert sofort mit Ollama für die Integration lokaler Modelle. Unterstützt auch Gemini- und Anthropic-Modelle für die Erzeugung hochwertiger Reasoning-Batches bei Bedarf.
• Strukturierte Ausgabe: Erzeugt perfekte JSON-Batches, die speziell für .jsonl-Fine-Tuning-Pipelines formatiert sind, sodass sie sofort in Trainings-Workflows einsatzbereit sind.

Behandeltes Problem

Das Tool zielt speziell auf das Problem ab, bei dem generische synthetische Daten dazu führen, dass Modelle während des Fine-Tunings "sich selbst nachplappern", ein Phänomen, das als Modellkollaps bekannt ist. Durch die Bewertung der Ausgabevielfalt vor dem Speichern hilft es sicherzustellen, dass die Trainingsdaten ausreichende Variation beibehalten.

Die Quelle weist darauf hin, dass dies eine neue Ergänzung zur Skillware-Bibliothek ist, verfügbar für Entwickler, die mit lokalen Modellen arbeiten und bessere synthetische Datengenerierung für Fine-Tuning-Aufgaben benötigen.