PyPI 공급망 공격 이후 litellm의 세 가지 오픈소스 대안
PyPI의 litellm 버전 1.82.7과 1.82.8이 공급망 공격으로 인증정보 탈취 악성코드에 감염되었습니다. AI 코딩 에이전트를 사용하며 마이그레이션이 필요한 개발자를 위해, 출처에서 언급된 세 가지 오픈소스 대안을 소개합니다.
Bifrost
현재 사용 가능한 가장 직접적인 litellm 대체제로 설명됩니다. Go로 작성되었으며, litellm보다 P99 지연시간이 약 50배 빠르다고 주장합니다. Apache 2.0 라이선스로 20개 이상의 제공업체를 지원합니다. litellm에서의 마이그레이션은 기본 URL을 한 줄만 변경하면 됩니다.
Kosong
Kimi가 오픈소스로 공개하고 Kimi CLI에서 사용하는 LLM 추상화 계층입니다. litellm보다 더 에이전트 지향적이며, 메시지 구조를 통일하고 플러그형 채팅 제공업체와 비동기 도구 오케스트레이션을 제공합니다. OpenAI, Anthropic, Google Vertex 및 기타 API 형식을 지원합니다.
Helicone
강력한 분석 및 디버깅 기능을 갖춘 AI 게이트웨이입니다. 100개 이상의 제공업체를 지원합니다. Bifrost나 Kosong보다 무겁지만, 가시성 측면에서 더 많은 기능을 제공합니다.
📖 Read the full source: r/LocalLLaMA
👀 See Also
WebAssembly로 AI 에이전트 샌드박싱하기: 기본적으로 제로 권한
코스모닉은 기존의 샌드박싱(seccomp, bubblewrap)이 내재된 권한(ambient authority) 문제로 인해 AI 에이전트에 부적합하다고 주장합니다. WebAssembly의 역량 기반 모델은 기본적으로 권한이 없으며, 파일시스템, 네트워크 또는 자격 증명에 대한 명시적 임포트가 필요합니다.
클로드 케이지: 클로드 코드 보안을 위한 도커 샌드박스
한 개발자가 Claude Cage라는 Docker 컨테이너를 만들어 Claude Code를 단일 작업 공간 폴더로 격리시켜 SSH 키, AWS 자격 증명, 개인 파일에 대한 접근을 차단했습니다. 이 설정에는 보안 규칙이 포함되어 있으며 Docker가 설치된 상태에서 약 2분 정도 소요됩니다.
구글이 밝힌 바에 따르면 범죄 해커들이 AI를 활용해 제로데이 취약점을 발견했다
Google은 공격자가 AI 에이전트를 사용하여 이전에 알려지지 않은 소프트웨어 결함을 발견하고 악용했다고 공개했으며, 이는 실제 환경에서 AI 기반 제로데이 발견의 첫 번째 확인된 사례입니다.
LLM 에이전트의 도구 권한 주입: 도구 출력이 시스템 의도를 무시할 때
한 연구자가 로컬 LLM 에이전트 실험실을 구축하여 '도구 권한 주입'을 시연했습니다. 이는 AI 에이전트에서 도구 출력이 시스템 의도를 재정의하는 시나리오입니다.