Spec27: Validación basada en especificaciones para agentes de IA – Pruebas a nivel de API sin acceso interno

Safe Intelligence ha lanzado Spec27, una herramienta de validación basada en especificaciones para agentes de IA. A diferencia de los marcos de evaluación tradicionales de LLM que califican el comportamiento general del modelo, Spec27 permite a los equipos definir especificaciones reutilizables para la misión específica que debe cumplir un agente. Las pruebas se generan automáticamente a partir de esas especificaciones y se ejecutan solo contra las interfaces principales del agente, sin suposiciones sobre la pila interna, sin necesidad de SDK ni pasarelas.

Características Clave

• Pruebas de afuera hacia adentro: Todas las pruebas se ejecutan contra la API o la interfaz de usuario expuesta del agente. No es necesario instrumentar los componentes internos del agente, lo cual es crucial para agentes construidos en plataformas de proveedores donde no controlas la pila.
• Generación de pruebas basada en especificaciones: Define especificaciones en términos del comportamiento esperado (por ejemplo, "cuando se le pregunte X, debe hacer Y y no Z"). Spec27 genera automáticamente comprobaciones adversariales y de robustez, revelando sensibilidades y regresiones a medida que cambian los modelos, indicaciones o herramientas.
• Acceso temprano: Actualmente es más robusto para la validación de agentes y aplicaciones de un solo turno. Las interacciones de múltiples turnos y una telemetría/integración de llamadas a herramientas más rica están en la hoja de ruta.

¿Para Quién Es?

Equipos que despliegan agentes internos, agentes de proveedores o cualquier sistema de IA donde la fiabilidad importe más que las puntuaciones de referencia. Si estás probando agentes en plataformas que no exponen componentes internos, el enfoque de caja negra de Spec27 aborda directamente esa brecha.

Cómo Empezar

Spec27 está abierto para que los lectores de HN lo prueben. El sitio de lanzamiento ofrece un flujo de muestra para que puedas explorar sin configuración. Regístrate en spec27.ai/launch.