AI 에이전트 장애 관리: 재시도 제한 및 장애 예산

이 사례 연구는 단순한 작업 분배를 넘어서는 실패 모드를 작업 큐가 어떻게 처리하는지에 초점을 맞춘, 프로덕션 환경에서 6개의 AI 에이전트를 운영하는 팀의 경험입니다.

주요 실패 사건과 해결책

초기 사건 중 하나는 에이전트가 속도 제한에 부딪혀 실패하고, 재시도한 후 다시 제한에 부딪히는 과정을 319회 반복한 경우였습니다. 이로 인해 성공할 가능성이 없는 작업에 수 시간의 컴퓨팅 자원이 낭비되었습니다.

구현된 해결책은 3회 실패 예산입니다. 3번 실패한 후 작업은 재대기열에 추가되지 않고 영구적으로 실패한 것으로 표시됩니다.

설계된 다른 실패 모드

• 작업을 할당받은 에이전트가 응답하지 않는 문제 (하트비트 타임아웃으로 해결)
• 실제로 작업을 완료하지 않았음에도 TASK_COMPLETE를 보고하는 에이전트 문제 (자체 보고 문제)
• 두 에이전트가 동일한 작업을 동시에 가져가는 문제 (낙관적 잠금으로 해결)

팀은 3회 실패 규칙이 후회적으로 보일 수 있지만, 경험을 통해 발견하는 과정은 가혹했다고 언급합니다.