다중 에이전트 시스템은 오류를 침묵하며 쓰레기 출력을 생성하므로 메타데이터 검증이 필요합니다

다중 에이전트 시스템의 침묵하는 실패 문제

다중 에이전트 AI 시스템을 운영할 때, 기본적인 실패 모드는 명백한 오류가 아닌 침묵입니다. 하류 에이전트들은 상류 에이전트로부터의 쓰레기 출력을 거부하지 않습니다. 대신, 그들은 확신을 가지고 이를 처리하고 완전히 정상적으로 보이는 결과물을 전달하여, 원래의 실패를 여러 겹의 겉보기에는 유효한 처리 아래에 묻어버립니다.

실제 실패 사례

개발자가 설명한 구체적인 사례에서:

• 연구 에이전트가 시간 초과되어 부분적인 데이터를 반환했습니다
• 분석 에이전트가 추론으로 빈 부분을 채웠습니다 (LLM이 자연스럽게 하는 것처럼)
• 최종 출력은 실제 데이터와 구별할 수 없는 조작된 데이터 포인트를 포함한, 다듬어지고 권위 있어 보이는 보고서였습니다

해결책: 메타데이터 봉투

해결책은 더 많은 재시도가 아닙니다. 이는 에이전트들이 실제로 무엇을 했는지 선언하도록 요구합니다. 각 에이전트는 출력을 다음을 포함하는 메타데이터 봉투로 감싸야 합니다:

• 작업 완료 상태 (작업을 완료했습니까?)
• 소스 수 (얼마나 많은 소스에 접근했는지 vs 접근해야 했는지?)

다음 에이전트는 처리하기 전에 이 메타데이터를 확인합니다. 이 간단한 접근법은 거의 모든 것을 잡아냅니다. 비록 개발자들은 이러한 선언에 대한 적절한 세분성을 아직 파악 중입니다.

이 접근법은 실패가 체인을 통해 침묵하며 전파되어 디버깅을 어렵게 하고 합법적으로 보이는 오해의 소지가 있는 결과물을 생성할 수 있는 다중 에이전트 시스템의 중요한 문제를 해결합니다.