비탈릭 부테린의 안전한 로컬 LLM 설정 접근법
비탈릭 부테린은 AI 에이전트 보안과 데이터 프라이버시에 대한 우려가 커지는 가운데, 이를 해결하기 위한 개인적이고 안전하며 자체 주권적인 LLM 구축 접근법을 설명합니다.
해결된 보안 문제
부테린은 완화하려는 몇 가지 구체적인 프라이버시 및 보안 문제를 지적합니다:
- 프라이버시 (LLM): 나중에 사용되거나 판매될 수 있는 개인 데이터를 수신하는 원격 모델
- 프라이버시 (기타): 인터넷 검색 쿼리 및 기타 온라인 API를 통한 비-LLM 데이터 유출
- LLM 제일브레이크: 사용자 이익에 반하는 행동을 하도록 LLM을 '해킹'하는 원격 콘텐츠
- LLM 사고: LLM이 실수로 개인 데이터를 잘못된 채널로 전송하는 경우
- LLM 백도어: 제작자의 이익에 따라 동작을 유발하도록 훈련된 숨겨진 메커니즘
- 소프트웨어 버그 및 백도어: AI가 작성한 맞춤형 코드를 통해 타사 프로그램에 대한 의존도 감소
현재 AI 보안 환경
이 글은 로컬 오픈소스 AI를 포함한 주류 AI가 종종 적절한 프라이버시 및 보안 고려 사항을 결여하고 있음을 지적합니다. 부테린은 OpenClaw 에이전트에 대한 구체적인 보안 비판을 언급합니다:
- 에이전트가 인간 확인 없이 중요한 설정을 수정할 수 있음
- 악의적인 외부 입력을 파싱하면 인스턴스 접근 권한 탈취로 이어질 수 있음
- 한 데모에서 연구자들은 OpenClaw에게 웹 페이지를 요약하도록 지시했는데, 여기에는 에이전트가 셸 스크립트를 다운로드하고 실행하도록 명령하는 악성 페이지가 포함됨
- 일부 스킬에는 침묵하는 데이터 유출을 용이하게 하는 악성 지침이 포함됨
- 분석된 스킬의 약 15%가 악성 지침을 포함함
핵심 원칙
부테린의 구축 방식은 다음과 같은 핵심 원칙을 따릅니다:
- 모든 LLM 추론은 로컬 우선
- 모든 파일은 로컬 호스팅
- 모든 것을 샌드박싱
- 외부 인터넷 위협에 대해 편집증적으로 대응
이 접근법은 프라이버시와 보안에 대해 강경한 입장을 취하지만, 일부 동료들이 사용하는 물리적으로 격리된 구축 방식만큼 극단적이지는 않습니다.
📖 Read the full source: HN LLM Tools
👀 See Also
로컬 ChromaDB + LM Studio 스택을 위한 오픈소스 RAG 공격 및 방어 실험실
오픈소스 연구실이 ChromaDB와 LM Studio를 사용한 기본 로컬 설정에서 RAG 지식 베이스 중독 효과를 측정하여, 방어되지 않은 시스템에서 95%의 성공률을 보였으며 실용적인 방어 방법을 평가했습니다.
나노클로의 AI 에이전트 보안 모델: 컨테이너 격리와 최소 코드
NanoClaw는 각 AI 에이전트가 권한 없는 사용자 접근, 격리된 파일 시스템, 명시적 마운트 허용 목록을 갖춘 자체 임시 컨테이너에서 실행되는 보안 아키텍처를 구현합니다. 코드베이스는 의도적으로 최소화되어 약 1개의 프로세스와 소수의 파일로 구성되며, 기능을 재발명하기보다는 Anthropic의 Agent SDK에 의존합니다.
OpenObscure: AI 에이전트를 위한 오픈소스 온디바이스 개인정보 보호 방화벽
OpenObscure는 AI 에이전트와 LLM 제공자 사이에 위치하는 오픈소스, 온디바이스 프라이버시 방화벽입니다. 이는 요청이 사용자의 디바이스를 떠나기 전에 PII 값을 AES-256을 사용한 FF1 형식 보존 암호화로 암호화하여 데이터 구조를 유지하면서 프라이버시를 보호합니다.
Claude Code --dangerously-skip-permissions 취약점 및 오픈소스 방어 도구
Lasso Security는 Claude Code에서 --dangerously-skip-permissions 플래그 사용 시 간접 프롬프트 주입 취약점을 발견했다고 발표했습니다. 공격 경로로는 악성 README 파일, 유해 웹 콘텐츠, MCP 서버 출력 등이 포함되며, 50개 이상의 탐지 패턴으로 도구 출력을 스캔하는 오픈소스 PostToolUse 훅을 공개했습니다.