Spec27: Spezifikationsgesteuerte Validierung für KI-Agenten – API-Level-Tests ohne internen Zugriff

Safe Intelligence hat Spec27 gestartet, ein spezifikationsgesteuertes Validierungstool für KI-Agenten. Im Gegensatz zu traditionellen LLM-Evaluierungs-Frameworks, die allgemeines Modellverhalten bewerten, ermöglicht Spec27 Teams, wiederverwendbare Spezifikationen für die spezifische Aufgabe zu definieren, die ein Agent erfüllen muss. Tests werden automatisch aus diesen Spezifikationen generiert und nur gegen die primären Schnittstellen des Agenten ausgeführt — ohne Annahmen über den internen Stack, ohne SDKs oder Gateways.

Hauptmerkmale

• Outside-in-Testing: Alle Tests werden gegen die exponierte API oder UI des Agenten ausgeführt. Es ist nicht nötig, die Interna des Agenten zu instrumentieren, was entscheidend für Agenten ist, die auf Vendor-Plattformen aufbauen, bei denen der Stack nicht kontrolliert wird.
• Spezifikationsgesteuerte Testgenerierung: Definiere Spezifikationen in Bezug auf erwartetes Verhalten (z. B. „wenn nach X gefragt, muss Y tun und Z nicht tun“). Spec27 generiert automatisch adversarielle und Robustheitsprüfungen und zeigt Empfindlichkeiten und Regressionen, wenn Modelle, Prompts oder Tools geändert werden.
• Früher Zugang: Derzeit am stärksten für Single-Turn-Agenten- und Anwendungsvalidierung. Multi-Turn-Interaktionen und umfangreichere Telemetrie-/Tool-Call-Integration sind in der Roadmap.

Für wen ist es gedacht

Teams, die interne Agenten, Vendor-Agenten oder KI-Systeme einsetzen, bei denen Zuverlässigkeit wichtiger ist als Benchmark-Ergebnisse. Wenn du Agenten auf Plattformen testest, die keine Interna preisgeben, adressiert Spec27s Black-Box-Ansatz direkt diese Lücke.

Erste Schritte

Spec27 ist offen für eine Testphase für HN-Leser. Die Startseite bietet einen Beispielworkflow, den du ohne Einrichtung erkunden kannst. Melde dich an unter spec27.ai/launch.