OpenEvol: 대화 기록을 활용한 LLM의 오프라인 자가 개선 파이프라인

OpenEvol의 기능

OpenEvol은 AI 대화 기록을 자동으로 학습 데이터로 변환하는 대규모 언어 모델용 오프라인 자기 개선 파이프라인입니다. 이 도구는 대화에서 가치 높은 교환을 마이닝하고, 품질을 판단하며, 수동 라벨링이나 독점 데이터 플라이휠 없이 미세 조정 데이터셋을 생성합니다.

작동 방식

파이프라인은 네 가지 자동화 단계를 거쳐 실행됩니다:

• 대화에서 가치 높은 교환 마이닝
• 선택적 교사 LLM을 사용한 규칙 기반 품질 판단
• SFT, 선호도, 사전 학습 데이터셋 합성
• 한 번의 명령으로 미세 조정

이를 통해 모델이 자신의 경험으로부터 학습하는 폐쇄 루프가 생성됩니다.

기술적 세부사항

시작하기 위해 GPU가 필요하지 않습니다. 전체 파이프라인은 모의 또는 OpenAI 호환 교사 백엔드와 함께 CPU에서 실행됩니다. 학습 준비가 되면 GPU를 사용할 수 있습니다.

다섯 가지 교사 백엔드가 지원됩니다:

• 모의(Mock)
• 규칙 기반(Rule-based)
• OpenAI 호환 API (모든 로컬 프록시 작동)
• HuggingFace Transformers
• vLLM

사용 옵션

OpenEvol을 사용하는 세 가지 방법:

• 오프라인 배치 실행을 위한 CLI
• 자동화를 위한 REST API 서버
• 채팅에서 직접 파이프라인 실행을 트리거할 수 있는 OpenClaw 데스크톱 플러그인

품질 관리

모든 배치는 자동으로 점수가 매겨집니다. 승인율이 80% 미만으로 떨어지면 학습이 차단되고 인간 검토를 위해 플래그가 지정되어 사용자가 학습에 사용할 데이터를 제어할 수 있습니다.

이러한 유형의 도구는 데이터를 외부 서비스로 전송하지 않고 실제 대화 기록을 사용하여 AI 코딩 에이전트를 개선하려는 개발자에게 유용합니다.