GitHub 저장소는 공개 AI 채팅을 위한 16가지 프롬프트 인젝션 기술과 방어 전략을 문서화합니다.
한 개발자가 실험 목적으로 자신의 웹사이트에 커스텀 AI 채팅을 구축했고, 실제 사용자들이 이를 뚫으려 시도하면서 여러 보안 문제에 직면했습니다. 이 경험은 GitHub에서 이용 가능한 포괄적인 보안 가이드 제작으로 이어졌습니다.
발생한 보안 문제
사용자들은 다음과 같은 다양한 공격을 시도했습니다:
- 프롬프트 인젝션
- 역할극 공격
- 다국어 트릭
- Base64 인코딩 페이로드
구현된 방어 전략
개발자는 다음과 같은 다층 방어 접근법을 문서화했습니다:
- 입력값 검증
- 요청 제한
- 제로 트러스트 시스템 프롬프트 설계
- 출력 제어
- 비용 제한
GitHub 저장소 내용
저장소에는 다음이 포함됩니다:
- 16가지 프롬프트 인젝션 기법 분석
- 챗봇에 대해 16가지 기법을 자동으로 테스트하는 Claude 코드 스킬
- 전체 방어 구현 상세 내용
개발자는 사용자들이 "테스트할 생각조차 하지 못했던 것들"을 시도했다고 언급하며, 이 가이드가 유사한 공개 AI 채팅 시스템을 구현하는 모든 사람에게 유용할 것이라고 밝혔습니다.
📖 전체 내용 읽기: r/ClaudeAI
👀 See Also
제로 트러스트 오픈클로 아키텍처는 실행 전 권한 부여와 실행 후 검증을 추가합니다.
OpenClaw를 위한 오픈소스 아키텍처는 두 가지 보안 검증 지점을 추가합니다: 실행 전에 도구 호출을 가로채어 밀리초 미만의 인증 오버헤드를 제공하는 Rust 사이드카, 그리고 LLM 판단 대신 어설션을 사용하는 결정론적 실행 후 검증입니다. 이 시스템은 DOM 스냅샷과 스크린샷을 포함한 추적 기능과 토큰 사용량을 90-99% 줄이는 DOM 압축 기술을 포함합니다.
FORGE: LLM 시스템을 위한 오픈 소스 AI 보안 테스트 프레임워크
FORGE는 실행 중에 자체 도구를 구축하고, 군집으로 자가 복제하며, 프롬프트 주입, 탈옥 퍼징, RAG 누출을 포함한 OWASP LLM Top 10 취약점을 다루는 자율 AI 보안 테스트 프레임워크입니다.
TEE 인클레이브를 사용한 암호화된 LLM 추론을 위한 OpenClaw 구성
개발자가 OpenClaw를 Onera의 AMD SEV-SNP 신뢰 실행 환경을 사용하여 종단 간 암호화된 LLM 추론을 구성한 방법을 공유하며, 구성 예시와 기술적 장단점을 포함합니다.
AI 에이전트가 SQL 인젝션을 악용해 McKinsey의 Lilli 챗봇을 침해하다
CodeWall의 보안 연구원들이 자율 AI 에이전트를 사용해 McKinsey의 내부 Lilli 챗봇을 해킹했으며, 인증되지 않은 API 엔드포인트의 SQL 인젝션 취약점을 통해 2시간 만에 프로덕션 데이터베이스에 대한 전체 읽기-쓰기 접근 권한을 얻었습니다.