Spec27: AI 에이전트를 위한 스펙 기반 검증 – 내부 접근 없이 API 레벨 테스트

Safe Intelligence가 AI 에이전트를 위한 스펙 기반 검증 도구인 Spec27을 출시했습니다. 일반적인 모델 동작을 평가하는 전통적인 LLM 평가 프레임워크와 달리, Spec27은 팀이 에이전트가 수행해야 하는 특정 임무에 대해 재사용 가능한 스펙을 정의할 수 있게 합니다. 테스트는 해당 스펙에서 자동으로 생성되며, 에이전트의 기본 인터페이스에 대해서만 실행됩니다. 내부 스택에 대한 가정이나 SDK 또는 게이트웨이가 필요하지 않습니다.

주요 기능

• 외부에서 내부로 테스트: 모든 테스트는 에이전트의 노출된 API 또는 UI에 대해 실행됩니다. 에이전트 내부를 계측할 필요가 없으며, 이는 스택을 제어할 수 없는 벤더 플랫폼에서 구축된 에이전트에 중요합니다.
• 스펙 기반 테스트 생성: 예상 동작(예: "X를 물었을 때, Y를 수행하고 Z를 하지 않아야 함")으로 스펙을 정의합니다. Spec27은 자동으로 적대적 검사와 견고성 검사를 생성하여 모델, 프롬프트 또는 도구가 변경될 때 민감도와 회귀를 표면화합니다.
• 초기 액세스: 현재 단일 턴 에이전트 및 애플리케이션 검증에 가장 강력합니다. 다중 턴 상호작용과 더 풍부한 텔레메트리/도구 호출 통합은 로드맵에 있습니다.

대상 사용자

내부 에이전트, 벤더 에이전트 또는 벤치마크 점수보다 안정성이 더 중요한 AI 시스템을 배포하는 팀. 내부를 노출하지 않는 플랫폼에서 에이전트를 테스트하는 경우, Spec27의 블랙박스 접근 방식이 그 격차를 직접 해결합니다.

시작하기

Spec27은 HN 독자들이 사용해 볼 수 있도록 공개되었습니다. 런칭 사이트에서는 설정 없이 탐색할 수 있는 샘플 흐름을 제공합니다. spec27.ai/launch에서 가입하세요.