에이전트 AI 실패 모드 및 발전적 스캐폴딩

에이전트 AI 실패 모드

에이전트 AI 시스템은 현재 벤치마크가 포착하지 못하는 방식으로 생산 환경에서 실패하고 있습니다. 구체적인 실패 모드는 다음과 같습니다:

• 정렬에서 벗어나 드리프트 발생
• 인수인계 간 맥락 상실
• 조정 없이 민감한 영역을 무모하게 돌파
• 조정이 무너질 때 붕괴

출처는 AI 개발을 아동 발달에 비유하며, 구조는 제약이 아니라 발달의 전제 조건이라고 주장합니다. 행동 루프를 구동하는 대규모 언어 모델은 인상적인 원시 능력을 갖추고 있지만 내재된 안전 장치는 제한적이며, 실패는 종종 해석 불가능한 확률 분포에 묻혀 있습니다.

발달적 비계 구성 요소

출처는 신뢰할 수 있는 에이전트 AI 시스템을 구축하기 위한 다섯 가지 구성 요소를 제안합니다:

일관성 모니터링

이는 에이전트 간 정렬을 지속적으로 추적하여 개별 에이전트 모니터링이 포착하지 못하는 성능 저하 패턴을 식별합니다. 예를 들면:

• 공급망 워크플로우에서 두 에이전트가 개별적으로는 합리적이지만 상충되는 타임라인 추정치를 생성하는 경우
• 고객 대면 에이전트의 확신이 업스트림에서 받은 정보와 분리되는 경우

이러한 패턴은 개별 에이전트 내부가 아닌 에이전트 간 관계 계층에서 관찰 가능합니다.

조정 복구

일관성 모니터링이 문제를 포착할 때, 현재 아키텍처는 일반적으로 이진 옵션(워크플로우 계속 실행 또는 종료)을 제공합니다. 비계 시스템은 다음과 같은 작업을 수행할 수 있습니다:

• 정렬 불일치의 특정 지점을 격리
• 해석이 분기된 지점을 표면화
• 충돌 해결
• 재시작 없이 수정 사항을 라이브 워크플로우에 재통합

동의 및 경계 인식

이는 적절한 조정 없이 민감한 영역으로 진입하는 문제를 해결합니다. 워크플로우가 윤리적 복잡성, 규제 노출 또는 중대한 결과가 있는 도메인에 진입할 때, 비계 시스템은 다음과 같이 작동합니다:

• 일시 중지하고 경계 조건을 평가
• 더 엄격한 매개변수로 계속 진행하거나, 전체 맥락과 함께 의사 결정을 인간에게 표면화

이는 후퇴가 아닌 신중한 항해를 가능하게 하는 경계 지능을 생성합니다.

관계적 연속성

이는 에이전트 인수인계 시 발생하는 콜드 스타트 문제를 해결합니다. 전환을 통해 지속되는 주요 결정, 제약 조건 및 약속의 공유 기록이 없으면, 각 인수인계는 제도적 지식이 증발하는 새로운 시작이 됩니다. 관계적 연속성은 공유 백본을 유지하여 모든 에이전트가 세션 기록뿐만 아니라 시스템 이해에 접근할 수 있도록 합니다.

적응형 거버넌스

이 메타 계층은 시스템 상태를 기반으로 실시간으로 개입 강도를 조정합니다. 정적 거버넌스 규칙은 역설을 생성합니다: 위기 상황에 충분히 엄격한 규칙은 안정적인 운영을 과도하게 관리하고, 원활한 워크플로우에 충분히 완화된 규칙은 실제 위기 동안 무기력해집니다. 적응형 거버넌스는 부하가 증가할 때 모니터링 임계값을 강화하고 피드백 주기를 단축하며, 일관성이 높고 워크플로우가 안정적일 때는 가벼운 접촉으로 운영됩니다.