Skillware добавляет генератор синтетических данных с оценкой энтропии для тонкой настройки локальных моделей.

Skillware добавила новый навык Генератора Синтетических Данных в свою библиотеку, специально разработанный для тонкой настройки локальных моделей, одновременно решая проблему, когда общие синтетические данные приводят к коллапсу модели.

Ключевые особенности

Инструмент включает несколько конкретных возможностей:

• Оценка энтропии: Использует эвристику коэффициента сжатия zlib для математической оценки того, насколько разнообразен вывод перед его сохранением. Это помогает выявлять и фильтровать данные с низкой энтропией, которые могут способствовать коллапсу модели.
• Готовность для локального использования: Работает из коробки с Ollama для интеграции локальных моделей. Также поддерживает модели Gemini и Anthropic для генерации высокоуровневых пакетов рассуждений, когда это необходимо.
• Структурированный вывод: Генерирует идеальные JSON-пакеты, отформатированные специально для конвейеров тонкой настройки .jsonl, что делает их готовыми к немедленному использованию в рабочих процессах обучения.

Решаемая проблема

Инструмент специально нацелен на проблему, когда общие синтетические данные заставляют модели «повторять самих себя» во время тонкой настройки — явление, известное как коллапс модели. Оценивая разнообразие вывода перед сохранением, он помогает гарантировать, что обучающие данные сохраняют достаточную вариативность.

Источник указывает, что это новое дополнение к библиотеке Skillware, доступное для разработчиков, работающих с локальными моделями, которым нужна лучшая генерация синтетических данных для задач тонкой настройки.