OpenEvol: Потоковая система автономного самосовершенствования для больших языковых моделей с использованием истории диалога

Что делает OpenEvol

OpenEvol — это автономный конвейер самообучения для больших языковых моделей, который автоматически преобразует историю диалогов ИИ в обучающие данные. Инструмент извлекает из диалогов ценные обмены, оценивает их качество и генерирует наборы данных для тонкой настройки без ручной разметки или проприетарных циклов данных.

Как это работает

Конвейер проходит четыре автоматизированных этапа:

• Извлечение ценных обменов из диалогов
• Оценка качества с помощью правил и опционально LLM-учителя
• Синтез наборов данных для SFT, предпочтений и предобучения
• Тонкая настройка одной командой

Это создаёт замкнутый цикл, в котором модель учится на собственном опыте.

Технические детали

Для начала работы GPU не требуется — весь конвейер работает на CPU с имитационным или совместимым с OpenAI бэкендом-учителем. GPU можно подключить, когда будет готово к обучению.

Поддерживаются пять бэкендов-учителей:

• Имитационный (Mock)
• На основе правил (Rule-based)
• API, совместимый с OpenAI (подходит любой локальный прокси)
• HuggingFace Transformers
• vLLM

Варианты использования

Три способа использования OpenEvol:

• CLI для автономных пакетных запусков
• REST API сервер для автоматизации
• Плагин OpenClaw для рабочего стола, позволяющий запускать конвейер прямо из чата

Контроль качества

Каждая партия автоматически оценивается. Если уровень одобрения падает ниже 80%, обучение блокируется и помечается для проверки человеком, что даёт пользователям контроль над данными, используемыми для обучения.

Такой инструмент полезен разработчикам, которые хотят улучшить своих ИИ-агентов для программирования, используя реальную историю диалогов без отправки данных внешним сервисам.