Spec27: AI 에이전트를 위한 스펙 기반 검증 – 내부 접근 없이 API 레벨 테스트
Safe Intelligence가 AI 에이전트를 위한 스펙 기반 검증 도구인 Spec27을 출시했습니다. 일반적인 모델 동작을 평가하는 전통적인 LLM 평가 프레임워크와 달리, Spec27은 팀이 에이전트가 수행해야 하는 특정 임무에 대해 재사용 가능한 스펙을 정의할 수 있게 합니다. 테스트는 해당 스펙에서 자동으로 생성되며, 에이전트의 기본 인터페이스에 대해서만 실행됩니다. 내부 스택에 대한 가정이나 SDK 또는 게이트웨이가 필요하지 않습니다.
주요 기능
- 외부에서 내부로 테스트: 모든 테스트는 에이전트의 노출된 API 또는 UI에 대해 실행됩니다. 에이전트 내부를 계측할 필요가 없으며, 이는 스택을 제어할 수 없는 벤더 플랫폼에서 구축된 에이전트에 중요합니다.
- 스펙 기반 테스트 생성: 예상 동작(예: "X를 물었을 때, Y를 수행하고 Z를 하지 않아야 함")으로 스펙을 정의합니다. Spec27은 자동으로 적대적 검사와 견고성 검사를 생성하여 모델, 프롬프트 또는 도구가 변경될 때 민감도와 회귀를 표면화합니다.
- 초기 액세스: 현재 단일 턴 에이전트 및 애플리케이션 검증에 가장 강력합니다. 다중 턴 상호작용과 더 풍부한 텔레메트리/도구 호출 통합은 로드맵에 있습니다.
대상 사용자
내부 에이전트, 벤더 에이전트 또는 벤치마크 점수보다 안정성이 더 중요한 AI 시스템을 배포하는 팀. 내부를 노출하지 않는 플랫폼에서 에이전트를 테스트하는 경우, Spec27의 블랙박스 접근 방식이 그 격차를 직접 해결합니다.
시작하기
Spec27은 HN 독자들이 사용해 볼 수 있도록 공개되었습니다. 런칭 사이트에서는 설정 없이 탐색할 수 있는 샘플 흐름을 제공합니다. spec27.ai/launch에서 가입하세요.
📖 전체 출처 읽기: HN AI Agents
👀 See Also
클로드 코드 컨테이너는 클로드 코드를 위한 제로-설정 도커 격리 환경을 제공합니다.
Claude Code Container(ccc)는 Claude Code를 위한 완전한 격리와 제로 설정으로 프로젝트별 Docker 컨테이너를 자동으로 생성하는 무료 오픈소스 도구입니다. 호스트 환경 변수를 전달하고, SSH 키를 마운트하며, 투명한 로컬호스트 프록시를 제공하고, chrome-devtools MCP가 사전 구성된 Chromium을 포함합니다.
Ollama의 로컬 LLM 개발을 위한 재사용 가능한 Go 컴포넌트 분석
한 개발자가 Ollama의 소스 코드를 검토하여 순수 Go 토큰 샘플러, GGUF 리더/라이터, 모델 변환 도구, 채팅 템플릿 렌더링, OpenAI 호환성 변환기 등 별도의 라이브러리로는 제공되지 않는 여러 독립형 Go 구성요소들을 발견했습니다.
OnPrem.LLM 에이전트 실행기: 내장 도구를 갖춘 샌드박스 AI 에이전트 실행하기
OnPrem.LLM의 AgentExecutor를 사용하면 파일 작업, 셸 명령어, 웹 검색을 포함한 9가지 내장 도구를 활용해 클라우드 또는 로컬 모델을 사용하여 복잡한 작업을 실행하는 자율 AI 에이전트를 생성할 수 있습니다. 보안을 위해 샌드박스 컨테이너에서 에이전트를 실행할 수 있습니다.
포켓봇: AI가 비용 효율적이고 결정론적인 스케줄링을 위해 자동화를 JavaScript로 컴파일합니다
PocketBot은 자연어 요청을 자체 포함된 자바스크립트 스크립트로 컴파일하여 런타임에 LLM 호출 없이 스케줄에 따라 실행함으로써 API 및 하드웨어 비용 문제를 해결합니다. 이 도구는 코드 작성에만 AI를 한 번 사용한 후 Google Suite, Slack, Notion을 포함한 20개 이상의 통합과 함께 결정론적으로 실행됩니다.