OpenEvol：会話履歴を活用したLLMのためのオフライン自己改善パイプライン

OpenEvolの機能

OpenEvolは、大規模言語モデルのためのオフライン自己改善パイプラインであり、AI会話履歴を自動的にトレーニングデータに変換します。このツールは会話から高価値なやり取りをマイニングし、その品質を評価し、手動でのラベル付けや独自データのフィードバックループなしにファインチューニング用データセットを生成します。

仕組み

このパイプラインは4つの自動化された段階を経て実行されます：

• 会話から高価値なやり取りをマイニング
• ルールベースまたはオプションの教師LLMを使用して品質を評価
• SFT、選好学習、事前学習用のデータセットを合成
• 1つのコマンドでファインチューニングを実行

これにより、モデルが自身の経験から学習する閉ループが形成されます。

技術詳細

開始時にはGPUは不要です。完全なパイプラインはCPU上で動作し、モックまたはOpenAI互換の教師バックエンドを使用します。トレーニングの準備ができたらGPUを導入できます。

5つの教師バックエンドがサポートされています：

• モック
• ルールベース
• OpenAI互換API（任意のローカルプロキシが動作）
• HuggingFace Transformers
• vLLM

使用方法の選択肢

OpenEvolを使用する3つの方法：

• オフライン一括実行用のCLI
• 自動化用のREST APIサーバー
• チャットから直接パイプライン実行をトリガーできるOpenClawデスクトッププラグイン

品質管理

すべてのバッチは自動的にスコアリングされます。承認率が80%を下回ると、トレーニングはブロックされ人間によるレビューがフラグされます。これにより、ユーザーはトレーニングに使用されるデータを制御できます。

この種のツールは、データを外部サービスに送信することなく、実際の会話履歴を使用してAIコーディングエージェントを改善したい開発者にとって有用です。