EvalShift: CLI de código abierto para detectar regresiones de LLM durante la migración de modelos

EvalShift es una CLI de Python de código abierto diseñada para detectar regresiones al cambiar entre LLM o versiones de modelos. Ejecuta su suite de entradas de referencia tanto contra el modelo fuente como el destino, evalúa las salidas y produce un informe HTML local, sin backend, cuentas ni telemetría.

Características clave

• Comparación de modelo fuente vs destino mediante LiteLLM
• Suites de referencia JSONL con etiquetas/segmentos
• Evaluadores estructurales: esquema JSON, expresión regular, longitud
• Evaluador semántico: similitud de incrustaciones
• Evaluación por pares LLM-como-juez
• Evaluadores de llamadas a herramientas: selección de herramientas, coincidencia de argumentos, estructura de traza
• Pruebas estadísticas pareadas: t-test / Wilcoxon
• Tamaños del efecto: d de Cohen
• Corrección de comparaciones múltiples: Benjamini-Hochberg
• Desgloses por segmento
• Caché local para controlar costos
• Ejecuciones reanudables
• Informe HTML en un solo archivo + salida JSON

El objetivo concreto del proyecto es la seguridad en la migración: "¿Puedo cambiar de modelo sin romper el comportamiento de mis indicaciones/agentes?" El autor enfatiza la detección de regresiones silenciosas en agentes, por ejemplo, un modelo más nuevo que produce una respuesta final aceptable pero omite una llamada a herramienta requerida, llama a la herramienta incorrecta o muta los argumentos.

Casos de uso

• Claude 4.5 → Claude 5
• GPT-5 → GPT-6
• Gemini 2 → 3
• Modelo local → modelo alojado

El autor busca comentarios sobre la utilidad para modelos locales frente a alojados, los tipos de evaluadores más importantes para flujos de trabajo locales de LLM, y si las regresiones en llamadas a herramientas/salidas estructuradas son un punto crítico real. El repositorio tiene licencia MIT.