EvalShift: 모델 마이그레이션 중 LLM 성능 저하를 감지하는 오픈소스 CLI
EvalShift는 LLM 또는 모델 버전 간 전환 시 회귀를 탐지하도록 설계된 오픈소스 Python CLI입니다. 골든 입력 스위트를 소스 및 대상 모델에 대해 실행하고, 출력을 평가하며, 로컬 HTML 보고서를 생성합니다 — 백엔드, 계정 또는 원격 측정이 필요 없습니다.
주요 기능
- LiteLLM을 통한 소스 대 대상 모델 비교
- 태그/슬라이스가 있는 JSONL 골든 스위트
- 구조적 평가기: JSON 스키마, 정규식, 길이
- 의미론적 평가기: 임베딩 유사도
- LLM-as-judge 쌍별 평가
- 도구 호출 평가기: 도구 선택, 인수 일치, 트레이스 구조
- 쌍별 통계 테스트: t-검정 / Wilcoxon
- 효과 크기: Cohen's d
- 다중 비교 보정: Benjamini-Hochberg
- 슬라이스 수준 분석
- 비용 제어를 위한 로컬 캐싱
- 재개 가능한 실행
- 단일 파일 HTML 보고서 + JSON 출력
프로젝트의 좁은 목표는 마이그레이션 안전성입니다: "프롬프트/에이전트 동작을 망가뜨리지 않고 모델을 전환할 수 있을까?" 저자는 조용한 에이전트 회귀 — 예를 들어, 최신 모델이 괜찮아 보이는 최종 답변을 생성하지만 필수 도구 호출을 건너뛰거나, 잘못된 도구를 호출하거나, 인수를 변경하는 경우 —를 잡아내는 것을 강조합니다.
사용 사례
- Claude 4.5 → Claude 5
- GPT-5 → GPT-6
- Gemini 2 → 3
- 로컬 모델 → 호스티드 모델
저자는 로컬 모델 대 호스티드 모델에 대한 유용성, 로컬 LLM 워크플로에서 가장 중요한 평가기 유형, 그리고 도구 호출/구조화된 출력 회귀가 실제로 문제가 되는지에 대한 피드백을 구하고 있습니다. 저장소는 MIT 라이선스입니다.
📖 원문 읽기: r/LocalLLaMA
👀 See Also
코드 결정: 오픈소스 클로드 플러그인이 기술적 결정을 포착합니다
Code Decisions는 Claude Code용 오픈 소스 플러그인으로, 대화에서 기술적 결정 사항을 캡처하고 영향을 받는 파일이 편집될 때 이를 표면화합니다. 이 플러그인은 결정 사항을 .claude/decisions/에 마크다운 파일로 작성하며, 관리되는 파일을 가리키는 affects 필드를 포함합니다.
개발자가 Claude Code로 GALA 프로그래밍 언어 구축, 강력한 타입 시스템이 AI 생성 코드 신뢰성 향상에 도움 된다고 강조
한 개발자가 Claude Code를 광범위하게 사용하여 Go로 트랜스파일되는 함수형 프로그래밍 언어 GALA를 구축했습니다. 이 언어는 봉인된 타입, 완전한 패턴 매칭, 기본적으로 불변성, 모나드 등의 기능을 갖추고 있으며, Claude는 타입 추론, 패턴 매칭 변환기 구현, 40개 이상의 버그 수정에 도움을 주었습니다.
로브스터 케이지: 라즈베리 파이에서 OpenClaw를 셀프 호스팅하기 위한 도커화된 보안 환경
한 개발자가 라즈베리 파이에서 OpenClaw를 자체 호스팅하기 위한 Dockerized 보안 환경인 Lobster Cage를 만들었습니다. 이 프로젝트는 네트워크 접근을 제한하면서 자율 코딩 에이전트를 실험하기 위한 통제된 설정을 제공하는 것을 목표로 합니다.
OpenClaw 사용자들은 AI 에이전트와의 계획 및 검토 과정에서 병목 현상을 보고하고 있습니다.
OpenClaw 사용자들은 효과적인 코드 생성에도 불구하고 계획 및 검토 워크플로를 'MS-DOS 같다'고 묘사하며, 수동 개입, 문서 파편화, 에이전트 협업 중 추론 상실을 지적합니다. 일부는 comment.io와 Proof by Every 같은 에이전트 네이티브 문서 편집기를 실험 중입니다.