자기 진화 기술 패턴 검증: 5라운드 실험 결과

실험 설정 및 결과

한 개발자가 이전에 공유된 Claude Code용 Self-Evolving Skill 디자인 패턴을 검증하기 위해 5라운드 실험을 수행했습니다. 이 실험은 스마트 빌딩 관리 시스템의 29개 테이블과 590MB 데이터를 가진 MySQL 데이터베이스를 사용했습니다.

라운드는 다음과 같은 진행을 따랐습니다: 구조 탐색 → 데이터 쿼리 → 규칙 발견 → 복잡한 조사 → 반복 검증.

주요 발견 사항

• Five-Gate 거부율: 63.6% — 대부분의 상호작용에서 지식 변화가 발생하지 않음
• 점진적 수렴: +75 → +46 → +12 → +21 → +1
• Gate 2 자체 수정: 패턴이 이전 라운드에서 Skill이 작성한 2개의 오류 규칙을 포착하고 수정함
• 라운드 5: 탐색 단계 없음, 직접 템플릿 재사용
• 정확도: 100% — 잘못된 지식이 프로세스를 통과하지 못함

예상치 못한 발견은 도구 사용의 함정이 높은 가치의 부산물로 포착되었다는 점이었습니다 — 개발자가 의도하지 않았지만 Five Gates가 어쨌든 발견한 문제들입니다.

개발자는 더 큰 통신 요금 청구 데이터베이스에서 두 번째 실험을 진행 중입니다. 라운드별 비교 가능한 스냅샷을 포함한 전체 데이터는 GitHub에서 확인할 수 있습니다.