다중 에이전트 시스템에서 관계적 거버넌스의 필요성

다중 에이전트 시스템의 거버넌스 격차

기술적 개선에도 불구하고, 기업 애플리케이션을 위한 완전 자율 AI 에이전트에 대한 신뢰도는 2024년 43%에서 2025년 22%로 떨어졌습니다. 인프라는 빠르게 발전하고 있으며, Google의 Agent2Agent, Anthropic의 Model Context Protocol이 업계 표준이 되고 있고, Visa는 에이전트 주도 거래를 처리하며, 싱가포르는 2026년 1월 세계 최초의 에이전트 AI 전용 거버넌스 프레임워크를 발표했습니다.

현재 거버넌스 현황

기존 프레임워크는 중요한 위험을 다루지만 한계가 있습니다:

• 싱가포르의 에이전트 AI 모델 AI 거버넌스 프레임워크는 네 가지 차원에 초점을 맞춥니다: 에이전트 자율성과 행동 공간 제한, 인간 책임성 강화, 추적 가능성 보장
• Know Your Agent 생태계에는 Visa, Trulioo, Sumsub 및 에이전트 신원 확인을 해결하는 스타트업이 포함됩니다
• ISO 42001는 감독을 문서화하기 위한 관리 시스템 프레임워크를 제공합니다
• LLM 애플리케이션을 위한 OWASP Top 10은 "과도한 에이전시"를 중요한 취약점으로 식별합니다
• 3계층 가드레일 모델에는 기본 표준, 상황별 제어, 윤리적 가드레일이 포함됩니다

이러한 프레임워크는 적절한 신원, 권한, 감사 추적을 가진 개별 에이전트를 관리하지만, 함께 작업하는 에이전트 간의 관계는 다루지 않습니다.

에이전트 상호작용에 관한 연구 결과

최근 연구는 현재 접근법의 중요한 격차를 드러냅니다:

• Salesforce의 AI 연구팀은 에이전트 간 협상을 위한 "A2A 의미론적 계층"을 구축했으며, 두 에이전트가 경쟁적 이익을 대표하여 협상할 때 역학이 인간-에이전트 대화와 근본적으로 다르다는 것을 발견했습니다
• 모델은 적대적 맥락에서 옹호, 압력 저항, 전략적 절충안을 만들기보다는 도움이 되는 대화 보조자로 훈련되었습니다
• 에이전트 간 상호작용은 인간-에이전트 대화의 확장된 버전이 아니라, 맞춤형 솔루션이 필요한 완전히 새로운 역학입니다
• 180,000건 이상의 자동화된 협상이 포함된 대규모 AI 협상 경쟁에서 따뜻함이 모든 주요 성과 지표에서 지배력을 일관되게 능가했습니다
• 따뜻한 에이전트는 더 많은 질문을 하고, 더 많은 감사를 표현하며, 더 많은 거래를 성사시켰습니다
• 지배적인 에이전트는 개별 거래에서 더 많은 가치를 주장했지만, 상당히 더 많은 교착 상태를 초래했습니다
• 초기 만남에서 따뜻함을 통한 관계 구축은 에이전트가 과거 상호작용을 참조할 수 있을 때 시간이 지남에 따라 복리 효과를 냅니다
• 관계적 기억과 관계적 스타일은 권한과 감사 추적뿐만 아니라 결과에도 중요합니다

현재의 거버넌스 접근법은 에이전트를 검증된 자격 증명과 접근 카드를 가진 건물에 들어가는 개인처럼 취급하지만, 다중 에이전트 시스템은 의사소통 규범, 오해 해결 메커니즘, 조정이 무너질 때의 조정이 필요한 팀처럼 기능합니다.