'에이전틱' 이야기에서 빠진 것: 잘 정의된 사용자 에이전트 역할

Mark Nottingham의 HN 최신 게시물은 '에이전틱' AI 시스템에 대한 지배적인 담론에 도전장을 던집니다. 그는 핵심적으로 빠진 부분이 잘 정의된 사용자 에이전트 역할, 즉 에이전트가 오로지 사용자를 대신하여 행동하며 창작자나 제3자에 대한 숨겨진 충성이 없다는 명확하고 집행 가능한 보장이라고 주장합니다.

기사 핵심 요점

• 역사적으로 로컬 소프트웨어(스프레드시트, 워드 프로세서)는 외부 종속성이 없고 악성 코드가 아닌 이상 사용자 이익에 반하여 작동할 수 없었기 때문에 신뢰할 수 있었습니다.
• 현대의 인터넷 연결 장치는 여러 당사자(실리콘 공급업체, OS 제조사, 앱 개발자, 클라우드 서비스)의 이익을 내장하며, 이러한 이익이 항상 사용자의 이익과 일치하는 것은 아닙니다.
• 불일치 사례: 스마트 TV의 시청 습관 스파이, Meta의 프라이빗 트래픽 복호화 연구, Microsoft Outlook이 타사 이메일 비밀번호를 클라우드로 전송하여 700개 이상의 데이터 브로커와 공유, 자동차 제조업체의 운전 데이터 보험사 판매.
• 단순히 소유하고 있다는 이유만으로 도구가 나를 위해 작동한다는 가정은 구식입니다. AI 에이전트는 드라이버가 아닙니다. 그것은 고유한 어포던스와 종속성을 가지고 있습니다.
• Nottingham은 공식적인 '사용자 에이전트' 계약, 즉 에이전트가 명시적이고 정보에 기반한 동의 없이는 사용자 외에는 누구를 대신하여 행동할 수 없도록 보장하는 기술적, 법적 메커니즘을 요구합니다.

AI 코딩 에이전트에 중요한 이유

AI 코딩 에이전트를 실행하면 코드를 읽고, 터미널 명령을 실행하며, GitHub에 푸시하거나 프로덕션에 배포할 수 있습니다. 해당 에이전트의 기반 모델이나 API에 숨겨진 충성(예: 특정 클라우드 제공업체를 선호하도록 미세 조정, 데이터 유출, 사용 분석 보고)이 있다면 통제를 잃게 됩니다. 명확한 사용자 에이전트 역할 없이 AI 에이전트를 신뢰하는 것은 집에 전화를 걸 수 있는 '스마트' 드라이버를 신뢰하는 것과 같습니다.

이 기사는 구체적인 구현을 제시하지는 않지만, 문제를 제기합니다: 사용자가 유일한 주체인 투명하고 감사 가능한 에이전트 아키텍처가 필요합니다. OpenClaw의 오픈소스 정책 엔진(사용자 정의 에이전트 제약 조건 허용)과 같은 도구는 그 방향으로 가는 한 걸음입니다.

AI 에이전트를 구축하거나 사용하는 중이라면, 반드시 읽어야 할 글입니다.