スキルウェアは、ローカルモデルのファインチューニングのためのエントロピースコアリング付き合成データジェネレーターを追加しました。

Skillwareは、一般的な合成データがモデルの崩壊を引き起こす問題に対処しながら、ローカルモデルのファインチューニングに特化して設計された新しい合成データ生成スキルをライブラリに追加しました。

主な機能

このツールには、以下のような具体的な機能が含まれています：

• エントロピースコアリング：保存前に出力の多様性を数学的にスコアリングするために、zlib圧縮率のヒューリスティックを使用します。これにより、モデルの崩壊につながる可能性のある低エントロピーデータを特定・フィルタリングできます。
• ローカル対応：ローカルモデルとの統合のためにOllamaとすぐに連携できます。また、必要に応じて高度な推論バッチを生成するためにGeminiおよびAnthropicモデルもサポートしています。
• 構造化出力：.jsonlファインチューニングパイプラインに特化してフォーマットされた完璧なJSONバッチを生成し、トレーニングワークフローで即座に使用できるようにします。

解決する問題

このツールは、一般的な合成データがファインチューニング中にモデルが「自分自身を繰り返す」現象（モデル崩壊として知られる）を引き起こす問題に特に焦点を当てています。保存前に出力の多様性をスコアリングすることで、トレーニングデータが十分なバリエーションを維持することを支援します。

ソースによると、これはSkillwareライブラリへの新たな追加機能であり、ファインチューニングタスクのためのより優れた合成データ生成を必要とするローカルモデルを扱う開発者向けに利用可能です。