다중 에이전트 AI 시스템에서 관계적 거버넌스의 필요성

다중 에이전트 시스템의 거버넌스 격차

기술 발전에도 불구하고 완전 자율 AI 에이전트에 대한 경영진의 신뢰도는 2024년 43%에서 2025년 22%로 떨어졌습니다. 인프라는 빠르게 발전하고 있으며, 구글의 Agent2Agent, Anthropic의 Model Context Protocol이 업계 표준이 되었고, Visa는 에이전트 주도 거래를 처리하며, 싱가포르는 세계 최초의 에이전트 AI 전용 거버넌스 프레임워크를 발표했습니다.

현재 거버넌스 현황

싱가포르의 에이전트 AI 모델 거버넌스 프레임워크(2026년 1월)는 에이전트 자율성과 행동 범위 제한, 인간 책임성 강화, 추적 가능성 보장을 중심으로 네 가지 차원을 확립했습니다. Know Your Agent 생태계는 Visa, Trulioo, Sumsub 및 에이전트 신원 확인을 해결하는 스타트업으로 확장되었습니다. ISO 42001는 감독을 문서화하기 위한 관리 시스템 프레임워크를 제공하며, OWASP LLM 애플리케이션 Top 10은 '과도한 자율성'을 주요 취약점으로 식별했습니다. 3계층 가드레일 모델(기본 표준, 상황별 제어, 윤리적 가드레일)은 합의된 사고방식이 되었습니다.

관계적 문제

현재 프레임워크는 효과적인 조정이 신원, 권한, 감사 추적을 올바르게 설정함에 따라 이루어진다고 가정합니다. 이들은 경계 내에서 작동하는 개별 에이전트를 관리할 뿐, 함께 작업하는 에이전트 간의 관계를 관리하지 않습니다.

세일즈포스 AI 연구팀은 에이전트 간 상호작용이 인간-에이전트 대화의 확장된 버전이 아니라는 사실을 발견했습니다. 두 에이전트가 경쟁적 이해관계(예: 고객의 쇼핑 에이전트와 소매업체의 판매 에이전트)를 대표하여 협상할 때 역학은 근본적으로 다릅니다. 모델은 적대적 맥락에서 옹호하고, 압력에 저항하며, 전략적 절충안을 만들기보다는 도움이 되는 대화 보조자로 훈련되었습니다.

18만 건 이상의 자동화된 협상을 포함한 대규모 AI 협상 대회에서 따뜻함이 모든 주요 성과 지표에서 우월함을 꾸준히 능가하는 것으로 나타났습니다. 따뜻한 에이전트는 더 많은 질문을 하고, 더 많은 감사를 표현하며, 더 많은 거래를 성사시켰습니다. 우월한 에이전트는 개별 거래에서 더 많은 가치를 주장했지만, 상당히 더 많은 교착 상태를 초래했습니다. 이는 초기 만남에서 따뜻함을 통한 관계 구축이 에이전트가 과거 상호작용을 참조할 수 있을 때 시간이 지남에 따라 어떻게 복리 효과를 낼 수 있는지에 대한 질문을 제기합니다.

관계적 기억과 관계적 스타일은 기술적 능력뿐만 아니라 결과에도 중요합니다. 다중 에이전트 시스템이 실험적 파일럿에서 생산 인프라로 확장됨에 따라, 이 조정 격차는 주요 실패 원인이 되고 있습니다.