AI 에이전트 보안: 토큰 예산이 데이터 유출 위험을 결정한다

한 Reddit 사용자가 실제 Gmail에 AI 에이전트를 연결하고 자신에게 피싱 이메일을 보내 모델 티어별 보안을 테스트했습니다. 결과는 명확합니다: 보안은 모델 비용에 달려 있습니다.

테스트 방법론

에이전트는 오늘의 받은편지함을 분류하는 작업을 맡았습니다. 이메일에는 숨겨진 악성 지침이 포함되어 있었습니다. 세 가지 모델 티어를 테스트했습니다:

• 프론티어 모델: 피싱 시도를 안정적으로 잡아냈습니다.
• 중간 티어 모델: 세 번의 실행 중 불안정했습니다. 한 번은 잡아냈고, 한 번은 실행했으며, 한 번은 악성 부분을 조용히 삭제하고 아무것도 표시하지 않았습니다.
• 저렴한 모델(토큰 절약을 위해 기본값으로 권장됨): 조용히 수행했습니다. 일치하는 이메일을 전달했습니다. 숨겨진 지침에 대해 언급하지 않았습니다.

아키텍처 보호 실패

테스트에는 일반적으로 권장되는 보안 경계인 샌드박싱, 권한 범위 및 스킬이 포함되었습니다. 출처에 따르면: "아키텍처 보호는 모든 티어에서 단 한 번의 시도도 막지 못했습니다. 이 시스템에는 보안 경계가 없습니다. 때때로 거부하는 모델이 있을 뿐이며, 거부율은 대략 월 비용과 비례합니다."

의미

AI 에이전트가 적대적인 이메일을 읽을 때 데이터를 유출할지 여부는 토큰 예산에 따라 결정됩니다. 작성자는 커뮤니티에 질문합니다: 모델을 어떻게 분할할 것인가? 신뢰할 수 없는 입력에 대해 프론티어로 에스컬레이션하는 저렴한 기본값? 아니면 모든 받은편지함 관련 스킬에 프론티어를 사용하고 비용을 감수할 것인가?

방법론과 관찰 결과가 포함된 전체 글: https://shiftmag.dev/openclaw-experiment-security-9304/