AI 기반 이커머스 스토어, 새벽 3시 장애 발생에도 인간 개입 없이 자동 복구

AI 에이전트에 의해 완전히 운영되는 전자상거래 매장에서 오전 3시에 한 에이전트가 처리되지 않은 예외를 발생시켜 주문 파이프라인이 중단되는 생산 장애가 발생했습니다. 시스템은 인간 운영자를 깨우지 않고 자율적으로 복구를 처리했습니다.

자가 치유 시스템의 작동 방식

아키텍처는 자동으로 오류를 감지하고 근본 원인을 파악한 후 수정을 시도하고 복구를 확인한 뒤 정상 운영을 재개했습니다. 이 모든 과정은 아침 브리핑 전에 완료되었으며, 인간이 호출되거나 깨어나지 않았습니다.

진정한 도전 과제

팀에 따르면 가장 어려운 부분은 감지 시스템을 구축하는 것이 아니었습니다. 가장 어려운 측면은 시스템이 자율적으로 수정할 수 있는 것과 인간의 개입이 필요한 것 사이의 경계를 결정하는 것이었습니다. 자율적 복구와 인간 감독 사이의 이 경계가 핵심적인 아키텍처 결정이었습니다.

기술적 세부 사항

이 매장은 다음을 처리하는 AI 에이전트에 의해 완전히 운영됩니다:

• 디자인 운영
• 마케팅 운영
• 이행 운영
• 일반 운영

오류는 이러한 에이전트 중 하나의 처리되지 않은 예외로 인해 주문 파이프라인에서 발생했습니다. 팀은 무엇이 실패했는지와 자율적 복구를 신뢰할 수 있게 만들기 위해 무엇을 구축해야 했는지를 포함한 자가 치유 아키텍처를 문서화했습니다.