의미: LLM 기반 테스트 어설션 및 구조화된 텍스트 추출을 위한 Go SDK

Sense의 기능

Sense는 Claude를 활용하는 Go SDK로, 두 가지 주요 사용 사례가 있습니다: 테스트에서 비결정적 출력을 평가하고, 구조화되지 않은 텍스트에서 구조화된 데이터를 추출합니다.

주요 기능

1. LLM 기반 테스트 어설션:

• 엄격한 어설션 대신 일반 영어로 기대 사항 작성
• 실패 시 통과한 항목, 실패한 항목, 이유, 증거 및 신뢰도 점수를 포함한 구조화된 피드백 제공
• 사용 예: s.Assert(t, agentOutput).Expect("유효한 Go 코드를 생성함").Expect("관용적인 오류 처리를 수행함").Run()

2. 구조화된 텍스트 추출:

• 구조화되지 않은 텍스트에서 형식화된 구조체 추출
• 구조체를 정의하고 포인터를 전달하면 리플렉션을 통해 스키마 생성
• 스키마 강제 적용은 Claude의 강제 tool_use를 통해 서버 측에서 수행
• 사용 예: var m MountError s.Extract("device /dev/sdf already mounted with vol-0abc123", &m).Run() fmt.Println(m.Device) // "/dev/sdf"
• 로그 파싱, 지원 티켓, 테스트 이상의 API 정규화에 유용

추가 기능

• 프로그래밍 방식 결과를 위한 Eval
• A/B 테스트를 위한 Compare
• 50% 비용 절감 효과의 배치 지원
• 모의 테스트를 위한 Evaluator 및 Extractor 인터페이스
• 135개 이상의 테스트 포함

개발 배경

전체 SDK는 초기 설계부터 구현, 테스트, 문서화까지 Claude Code를 사용하여 구축되었습니다. 제작자는 API 설계와 개발자 워크플로우에 유용한 요소에 대한 피드백을 구하고 있습니다.