TestThread : Cadre de Test Open Source pour Agents IA

Ce que fait TestThread

TestThread est un framework de test open source conçu spécifiquement pour les agents d'IA, de la même manière que pytest fonctionne pour le code traditionnel. Il résout le problème des agents qui tombent en panne silencieusement en production avec des sorties incorrectes, des hallucinations ou des appels d'outils échoués qui ne deviennent apparents que lorsque les systèmes en aval plantent.

Fonctionnalités clés

• 4 types de correspondance incluant la correspondance sémantique où l'IA juge le sens plutôt que juste le texte
• Diagnostic IA sur les échecs qui explique pourquoi les tests ont échoué et suggère des corrections
• Détection de régression qui signale lorsque les taux de réussite chutent
• Détection de PII qui échoue automatiquement les tests si les agents divulguent des données sensibles
• Assertions de trajectoire qui testent les étapes de l'agent en plus des sorties finales
• Action CI/CD GitHub qui exécute les tests à chaque push
• Exécutions planifiées à intervalles horaires, quotidiens ou hebdomadaires
• Estimation des coûts par exécution

Installation et configuration

Installez via les gestionnaires de paquets :

pip install testthread

npm install testthread

Le framework inclut une API en direct, un tableau de bord et des SDK Python/JavaScript. Il fait partie de la Thread Suite aux côtés d'Iron-Thread, qui valide les sorties tandis que TestThread teste le comportement.

Comment cela fonctionne

Vous définissez ce que votre agent doit faire, l'exécutez sur votre point de terminaison en direct, et recevez des résultats de réussite/échec avec des explications alimentées par l'IA des échecs. Cette approche aide à détecter les problèmes avant qu'ils n'affectent les systèmes de production.