LLM-Matrix: Von der Community bewertete Modellvergleiche, erstellt mit Claude Code

Ein Entwickler hat LLM Matrix erstellt, eine Website, die es Nutzern ermöglicht, große Sprachmodelle über mehrere Dimensionen hinweg zu durchsuchen und darüber abzustimmen. Das Tool adressiert Bedenken bezüglich zentralisierter Benchmark-Websites durch die Implementierung von community-gesteuerten Ranglisten.

Was LLM Matrix leistet

• LLM-Bewertungen über 2 bis N Dimensionen gleichzeitig durchsuchen
• Nutzer stimmen über Modelle ab, und diese Stimmen prägen die Ranglisten
• Anfängliche Daten mit nur 20 Stimmen pro Modell basierend auf aggregierten Bewertungen aus öffentlichen Internetquellen
• Verbleibende Stimmen und Ranglisten werden durch Community-Eingaben bestimmt

Entwicklungsdetails

Das gesamte Projekt wurde mit Claude Code erstellt. Der Entwickler erwähnte speziell zwei Plugins, die für die Entwicklung wesentlich waren:

• Production-Grade-Plugin: https://github.com/nagisanzenin/claude-code-production-grade-plugin
• Claude-Mem-Plugin: https://github.com/thedotmack/claude-mem

Die Website wird derzeit unter llm-matrix.vercel.app gehostet und stellt einen alternativen Ansatz zur LLM-Bewertung dar, der Community-Konsens über potenziell voreingenommene zentralisierte Metriken priorisiert.