Sens : SDK Go pour les assertions de test basées sur les LLM et l'extraction de texte structuré

Ce que fait Sense

Sense est un SDK Go qui exploite Claude pour deux cas d'utilisation principaux : évaluer les sorties non déterministes dans les tests et extraire des données structurées de textes non structurés.

Fonctionnalités clés

1. Assertions de test alimentées par LLM :

• Écrivez des attentes en langage naturel au lieu d'assertions rigides
• Obtenez des retours structurés sur les échecs, incluant ce qui a réussi, ce qui a échoué, pourquoi, avec des preuves et des scores de confiance
• Exemple d'utilisation : s.Assert(t, agentOutput).Expect("produit du code Go valide").Expect("gère les erreurs de manière idiomatique").Run()

2. Extraction de texte structuré :

• Extrayez des structures typées de textes non structurés
• Définissez une structure, passez un pointeur, et le schéma est généré via la réflexion
• L'application du schéma se fait côté serveur grâce à l'utilisation forcée d'outils de Claude
• Exemple d'utilisation : var m MountError s.Extract("device /dev/sdf already mounted with vol-0abc123", &m).Run() fmt.Println(m.Device) // "/dev/sdf"
• Utile pour l'analyse de journaux, les tickets de support et la normalisation d'API au-delà des simples tests

Fonctionnalités supplémentaires

• Eval pour des résultats programmatiques
• Compare pour des tests A/B
• Prise en charge du traitement par lots avec 50 % d'économies
• Interfaces Evaluator et Extractor pour la simulation
• Inclut plus de 135 tests

Contexte de développement

L'ensemble du SDK a été construit en utilisant Claude Code, de la conception initiale à l'implémentation, aux tests et à la documentation. Le créateur sollicite des retours sur la conception de l'API et sur ce qui rendrait cet outil utile pour les flux de travail des développeurs.