에이전트 기반 텍스트-투-SQL 작업에서 소형 로컬 및 오픈라우터 모델의 벤치마크 결과
한 개발자가 에이전트 기반 텍스트-투-SQL 작업에 대한 소형 로컬 및 OpenRouter 모델의 벤치마크 결과를 발표했습니다. 이 벤치마크는 "각 제품 하위 카테고리에 대한 주문 라인, 매출, 판매 단위, 단위당 매출(총 매출 ÷ 총 판매 단위), 하위 카테고리별 제품 평균 정가, 총 이익 및 마진 백분율 표시"와 같은 영어 쿼리를 가져와 데이터베이스 테이블에 대해 테스트되는 SQL로 변환합니다.
벤치마크 세부 사항
에이전트는 쿼리 결과를 확인하고 문제를 수정하기 위해 SQL을 수정할 수 있으며, 디버깅 라운드에 제한이 있습니다. 벤치마크는 의도적으로 25개의 질문으로 짧게 구성되어 대부분의 모델에서 5분보다 훨씬 적은 시간에 실행되므로 다양한 구성을 테스트하기에 실용적입니다. 최고의 모델과 다른 모델을 구분할 수 있을 만큼 충분히 어렵게 설계되었습니다.
주요 발견 사항
- 확인된 최고의 오픈 모델은 kimi-k2.5, Qwen 3.5 397B-A17B 및 Qwen 3.5 27B였습니다.
- NVIDIA Nemotron-Cascade-2-30B-A3B는 Qwen 3.5-35B-A3B보다 높은 점수를 기록하며 Codex 5.3과 동등한 성능을 보였습니다.
- Mimo v2 Flash는 "모델의 보석"으로 묘사되었습니다.
자체 호스팅 옵션
이제 벤치마크에는 Llama.cpp의 WASM 버전을 사용하여 자신의 서버에서 직접 실행할 수 있는 기능이 포함되어 있습니다. 개발자는 버전 2에서 변경할 사항에 대한 피드백을 구하고 있으며, 다른 구성으로 다른 사람들이 얻는 점수를 확인하고 싶어합니다.
📖 Read the full source: r/LocalLLaMA
👀 See Also
클로드를 위한 독일 관료제 보조 프롬프트: 구조화된 법적 서신
클로드를 독일 관료제, 계약, 보험 분쟁, 공식 서신을 위한 구조화된 어시스턴트로 바꾸는 상세한 시스템 프롬프트로, 엄격한 사실 확인 및 DIN 5008 서식 적용.
클로드클로: 메시징 플랫폼용 지속형 AI 에이전트를 위한 무료 클로드 코드 플러그인
ClaudeClaw는 무료 오픈소스 MIT 라이선스 Claude Code 플러그인으로, Slack, WhatsApp, Telegram에서 Claude를 지속적인 에이전트로 실행합니다. Node.js 20+, Claude Code, 사용자 Anthropic API 키가 필요하며, Anthropic의 sandbox-runtime을 통한 OS 수준 샌드박스 격리를 제공합니다.
Ninetails 메모리 엔진 V4.5: Int8 양자화 + LRU 캐시로 로컬 MCP 메모리를 60MB로 절감
Ninetails Memory Engine V4.5는 Int8 스칼라 양자화와 LRU 캐시 제거를 사용하여 임베딩당 벡터 저장 공간을 6KB에서 1.5KB로 줄여 전체 엔진을 40-60MB RAM으로 유지합니다. 완전히 로컬 SQLite 구현에서 70% 벡터 유사도와 30% BM25 검색을 결합합니다.
llmLibrarian: 파일 기반 AI 검색을 위한 MCP 통합 로컬 RAG 엔진
llmLibrarian은 MCP를 통해 검색 기능을 노출하는 로컬 RAG 엔진으로, Claude와 같은 AI 에이전트가 인덱싱된 파일을 쿼리할 수 있게 합니다. ChromaDB 컬렉션을 사용해 조직화하고, Ollama를 합성에 사용하며, 모든 것을 기기 내에서 유지합니다.