보안 감사 실험 결과, AI 에이전트 성능은 지식 접근성에 달려 있음

한 Reddit 사용자가 지식 접근성이 결과에 미치는 영향을 테스트하기 위해 동일한 코드베이스에서 AI 보안 감사 접근법을 비교하는 실험을 진행했습니다. 이 실험은 BoxyHQ의 오픈 소스 Next.js SaaS 스타터 키트를 테스트 대상으로 사용했습니다.

비교된 세 가지 감사 방법

개발자는 세 가지 독립적인 보안 감사를 실행했습니다:

• Claude Code의 내장 보안 검토: 1개의 치명적, 6개의 높음, 13개의 중간 심각도 문제 발견
• 추가 컨텍스트 없이 AI 에이전트: 1개의 치명적, 5개의 높음, 14개의 중간 심각도 문제 발견
• 10개의 전문 보안 서적을 제공한 AI 에이전트: 8개의 치명적, 9개의 높음, 10개의 중간 심각도 문제 발견

주요 발견 사항

서적을 제공받은 에이전트는 다른 방법들이 완전히 놓친 취약점들을 식별했으며, 그 중에는 다음과 같은 것들이 포함됩니다:

• 평문으로 저장된 비밀번호 재설정 토큰
• 토큰 검증 시 TOCTOU(Time-of-Check to Time-of-Use) 경쟁 조건
• res.status(404)를 호출하지만 반환하지 않아 실행이 계속되도록 하는 기능 플래그

개발자는 이러한 문제들이 난해한 예외 사항이 아니라 실제 보안 침해 사례에서 나타나는 유형의 문제라고 지적했습니다. 이 실험은 모든 세 가지 테스트에서 동일한 코드베이스와 동일한 AI 모델을 사용했으며, 유일한 변수는 에이전트가 접근할 수 있는 지식이었습니다.

AI 지원 개발에 대한 시사점

이 실험은 AI 에이전트들이 지능에 의해 제한되는 것이 아니라 필요할 때 접근할 수 있는 지식에 의해 제한된다는 점을 시사합니다. 개발자는 보안 지식이 코드 내부보다는 "코드 위에 존재한다"고 결론지으며, AI 도구들에 도메인별 참고 자료를 제공하는 것이 그들의 기본 훈련에만 의존하는 것보다 중요하다는 점을 강조했습니다.

전문 지식 소스로 AI 에이전트를 강화하는 이러한 접근법은 특히 보안 검토를 위해 AI 코딩 어시스턴트를 사용하는 개발자들에게 관련성이 높을 수 있으며, 최신 보안 참고 자료와 모범 사례에 대한 접근성이 발견 결과의 질에 상당한 영향을 미칩니다.