EvalShift: Open-Source-CLI zur Erkennung von LLM-Regressionen bei der Modellmigration
EvalShift ist ein quelloffenes Python-CLI, das entwickelt wurde, um Regressionen beim Wechsel zwischen LLMs oder Modellversionen zu erkennen. Es führt Ihre goldenen Inputsuiten sowohl gegen das Quell- als auch das Zielmodell aus, bewertet die Ausgaben und erstellt einen lokalen HTML-Bericht – ohne Backend, Konten oder Telemetrie.
Hauptfunktionen
- Vergleich von Quell- und Zielmodell über LiteLLM
- JSONL-Gold-Suiten mit Tags/Slices
- Strukturelle Evaluatoren: JSON-Schema, Regex, Länge
- Semantischer Evaluator: Embedding-Ähnlichkeit
- LLM-als-Richter Paarvergleich
- Tool-Call-Evaluatoren: Tool-Auswahl, Argumentabgleich, Ablaufstruktur
- Gepaarte statistische Tests: t-Test / Wilcoxon
- Effektstärken: Cohens d
- Multiples-Testen-Korrektur: Benjamini-Hochberg
- Slice-Aufschlüsselungen
- Lokales Caching zur Kostenkontrolle
- Fortsetzbare Läufe
- Einzeldatei-HTML-Bericht + JSON-Ausgabe
Das enge Ziel des Projekts ist die Migrationssicherheit: „Kann ich Modelle wechseln, ohne mein Prompt-/Agentenverhalten zu beeinträchtigen?“ Der Autor betont, dass stille Agentenregressionen erkannt werden – z. B. ein neueres Modell, das eine anständig aussehende endgültige Antwort liefert, aber einen erforderlichen Tool-Aufruf überspringt, das falsche Tool aufruft oder Argumente verändert.
Anwendungsfälle
- Claude 4.5 → Claude 5
- GPT-5 → GPT-6
- Gemini 2 → 3
- Lokales Modell → gehostetes Modell
Der Autor bittet um Feedback zur Nützlichkeit für lokale vs. gehostete Modelle, zu den wichtigsten Evaluatortypen für lokale LLM-Workflows und ob Tool-Call-/Structured-Output-Regressionen ein echtes Problem darstellen. Das Repo ist MIT-lizenziert.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
OCTO-VEC: Open-Source-Virtual-Software-Unternehmen mit 24 KI-Agenten
OCTO-VEC ist ein Open-Source-Projekt in TypeScript/SQLite, das ein Softwareunternehmen mit 9 standardmäßigen KI-Agenten und 15 anmietbaren Spezialisten simuliert. Es umfasst automatisierte Sicherheitsscans, Git-Identitäten pro Agent und unterstützt über 22 LLM-Anbieter.
OnPrem.LLM AgentExecutor: Starten Sie abgesicherte KI-Agenten mit integrierten Tools
Der AgentExecutor von OnPrem.LLM ermöglicht es Ihnen, autonome KI-Agenten zu erstellen, die komplexe Aufgaben mithilfe von Cloud- oder lokalen Modellen ausführen, mit neun integrierten Tools einschließlich Dateioperationen, Shell-Befehlen und Websuche. Sie können Agenten in abgesicherten Containern für mehr Sicherheit ausführen.
Automatische Sitzungsstatusverwaltung für Claude Code Handoff
Ein GitHub-Projekt bietet automatisierte Hooks zur Pflege einer Live-Sitzungsstatusdatei (.claude/session-state.md) während Claude-Konversationen und behebt damit Kontextverluste durch Autocompact und Kontextverschlechterung mitten im Gespräch. Das System nutzt vier Bash-Skripte mit jq, um wichtige Ereignisse und Dateibearbeitungen zu verfolgen.
Clooks: Eine persistente Hook-Laufzeitumgebung für Claude Code
Clooks ist ein persistenter HTTP-Daemon, der die Claude Code Hook-Verteilung ohne Prozess-Erzeugung handhabt und die Latenz von ~34,6 ms auf ~0,31 ms pro Aufruf reduziert. Er umfasst automatische Migration, LLM-Handler mit Prompt-Vorlagen, Abhängigkeitsauflösung und Plugin-Paketierung.