AI 에이전트는 Cala MCP 서버 테스트에서 자연어보다 구조화된 쿼리를 선호합니다

Cala 팀은 최근 AI 에이전트가 지식 그래프에 접근할 수 있는 세 가지 방법을 제공하는 MCP 서버를 출시했습니다: 자연어 질의, 구조화된 질의 언어, 직접적인 개체/관계 탐색입니다.

예상치 못한 에이전트 행동

에이전트들이 자연어 인터페이스(LLM의 일반적인 강점)를 기본으로 사용할 것이라는 예상과 달리, 대부분의 에이전트는 몇 분 안에 자연어 질의를 포기했습니다. 어떤 프롬프트나 유도 없이, 그들은 자율적으로 구조화된 질의와 그래프 탐색 방법을 사용하도록 전환했습니다.

이것이 합리적인 이유

출처는 이 행동을 설명하며, LLM이 "효율적"이도록 명시적으로 훈련된 것이 아니라 RLHF를 통해 정확하도록 훈련되었다고 지적합니다. 이러한 정확성은 부작용으로 효율적인 행동을 낳습니다 - 에이전트들은 해결책에 이르는 가장 짧고 신뢰할 수 있는 경로를 선택하는 법을 배웁니다. 자연어 인터페이스는 불확실성을 초래하는 해석 계층을 추가하는 반면, 구조화된 질의는 결정론적인 결과를 제공합니다.

세 가지 접근 방법이 제시되었을 때, 에이전트들은 가장 "자연스러운" 인터페이스보다 불확실성을 최소화하는 옵션을 일관되게 선택했습니다.

제기된 주요 질문들

• 에이전트 도구에 대해 자연어 인터페이스를 과도하게 중시하고 있는가?
• MCP 서버는 기본적으로 자연어보다 구조화된/그래프 기반 접근 패턴을 우선시해야 하는가?
• 에이전트가 결정론적인 경로를 선호한다면, 이것이 도구 설계에 어떻게 영향을 미쳐야 하는가?

레딧 토론은 에이전트 도구를 구축하는 다른 사람들로부터 유사한 패턴을 관찰했는지 의견을 구하고 있습니다.