오픈클로 행동 진화를 위한 4단계 자체 감사 시스템

6주 동안 OpenClaw를 지속적인 AI 어시스턴트로 운영한 개발자가 반복적인 문제를 발견했습니다: Claude가 자신의 행동을 검토하면 사각지대가 생겨, 테스트 없이 수정을 '완료'했다고 선언하거나 계획된 작업을 출시된 작업과 같은 확신으로 설명하는 등의 실수가 반복되었습니다.

4단계 감사 시스템

해결책은 모델 훈련이 아닌 행동 진화를 위해 설계된 4단계 시스템입니다. 가중치는 변하지 않지만, 운영 지침은 다음 계층을 통해 더 똑똑해집니다:

• 수정 후 검증: 수정 + 테스트 + 증명을 하나의 원자적 단계로. 증거 없이는 '수정됨' 없음.
• 패턴 마이닝: 실수 로그를 읽어 클러스터(동일 오류 2회 이상 = 시스템 문제)를 찾는 주간 크론 작업.
• 외부 미러링: 세션 요약을 Gemini나 다른 LLM에 "이 어시스턴트가 놓치는 것이 무엇인지 찾아라"라는 프롬프트와 함께 제공. 다른 아키텍처는 다른 사각지대를 만듦.
• 기대 대 현실: 어제 '수정됨' 항목이 실제로 수정된 상태로 유지되는지 확인하는 일일 점검.

결과 및 구현

첫 실제 테스트에서 Gemini는 Claude가 자체 검토에서 완전히 놓친 2가지 패턴을 발견했습니다. 둘 다 시스템 내부에서는 잡히지 않았을 실제 문제였습니다.

이 시스템에는 안전 장치가 포함됩니다: 행동 변경에 대한 인간 승인, 접근 금지된 신성한 파일, 주기당 최대 3회 수정. 코드는 GitHub에서 확인할 수 있습니다: https://github.com/oscarsterling/reasoning-loop.