AI 모델은 자체 도구와 사용자 인터페이스에 대한 자가 인식이 부족합니다.

AI 코딩 어시스턴트의 중요한 사용성 결함이 확인되었습니다: ChatGPT 및 Claude와 같은 모델은 자체 도구와 사용자 인터페이스에 대한 정확한 지식을 자주 갖추지 못하고 있습니다. 사용자가 화면에 보이는 기능에 대해 질문할 때, AI는 종종 잘못된 정보로 응답합니다.

문제의 구체적인 예시

사용자 보고에 따르면, 이러한 모델들은 다음과 같은 몇 가지 일관된 실패 패턴을 보입니다:

• 존재하는 기능 부정: Claude Code가 새로운 슬래시 명령어를 표시할 때 사용자가 그 기능을 묻으면, 모델은 해당 명령어가 존재하지 않는다고 부정합니다.
• 오래된 버전 설명: ChatGPT의 메모리, 통합 기능 또는 설정과 같은 기능에 대해 질문하면, 모델은 1-2년 전 UI 버전을 기반으로 한 답변을 제공합니다.
• 그럴듯하게 들리는 허구 만들기: 모델들은 때때로 합리적으로 들리지만 실제 기능과 일치하지 않는 설명을 만들어냅니다.

현재의 해결 방법과 그 한계

현재 사용 가능한 해결 방법은 AI에게 웹 가져오기 기능을 통해 "찾아보도록" 강제하는 것이지만, 이 접근법에는 중요한 문제가 있습니다:

• 가져오기 작업이 완전히 실패하는 경우가 많습니다
• AI가 종종 잘못된 문서에 접근합니다
• 권한 또는 가용성 문제로 인해 콘텐츠에 접근하지 못할 수 있습니다

근본 원인 분석

핵심 문제는 AI 학습 방법론과 제품 개발 주기 사이의 근본적인 불일치에서 비롯됩니다. 이러한 모델들은 역사적인 데이터 스냅샷으로 학습되지만, 그들이 내장된 제품들은 지속적으로 진화합니다. 이는 AI가 사용자가 작동하도록 돕기로 되어 있는 바로 그 도구와 동기화되지 않는 상황을 만듭니다.

이것이 중요한 설계 결함인 이유

AI가 제품 인터페이스에 통합될 때, 다음과 같은 정확하고 최신의 지식을 유지해야 합니다:

• 자체 기능
• 자체 사용자 인터페이스
• 자체 명령어와 능력

이러한 자기 지식 없이는, AI는 사용성을 향상시키기보다는 적극적으로 해를 끼쳐 혼란을 만들고 도구에 대한 신뢰를 떨어뜨립니다.

제안된 해결책

출처는 다음과 같은 몇 가지 구조적 개선을 제안합니다:

• 제품 내부에 현재 기능의 내부 API 또는 스키마 역할을 하는 실시간 구조화된 "자기 지식" 계층
• 현재 UI와 능력에 대해 특별히 훈련된 지속적으로 업데이트되는 소규모 모델
• 주요 모델이 제품 관련 질문에 답할 때 이 자기 지식 계층에 접근할 수 있는 쿼리 시스템

근본적인 원칙은 AI가 오래된 학습 데이터를 기반으로 추측하기보다는 자체 환경을 내부적으로 살펴볼 수 있어야 한다는 것입니다.