LLM 매트릭스: Claude Code로 구축된 커뮤니티 투표 기반 모델 비교

개발자가 LLM 매트릭스를 만들었습니다. 이 웹사이트는 사용자가 여러 차원에서 대규모 언어 모델을 탐색하고 투표할 수 있게 해줍니다. 이 도구는 커뮤니티 주도 순위 시스템을 구현하여 중앙 집중식 벤치마크 사이트에 대한 우려를 해소합니다.

LLM 매트릭스의 기능

• 2개에서 N개의 차원에서 동시에 LLM 점수 탐색
• 사용자가 모델에 투표하고, 그 투표가 순위를 형성함
• 초기 데이터는 공개 인터넷 소스의 집계 점수를 기반으로 모델당 20표만 시드됨
• 나머지 투표와 순위는 커뮤니티 입력으로 결정됨

개발 세부사항

전체 프로젝트는 Claude Code를 사용하여 구축되었습니다. 개발자는 특히 개발에 필수적인 두 가지 플러그인을 언급했습니다:

• 프로덕션 등급 플러그인: https://github.com/nagisanzenin/claude-code-production-grade-plugin
• claude-mem 플러그인: https://github.com/thedotmack/claude-mem

이 사이트는 현재 llm-matrix.vercel.app에 호스팅되어 있으며, 잠재적으로 편향된 중앙 집중식 지표보다 커뮤니티 합의를 우선시하는 LLM 평가에 대한 대안적 접근법을 나타냅니다.