Résultats de référence : L'Agent en essaim Claude avec système de mémoire permet des économies de coûts de tokens de 30 à 43 %

Évaluation du système de mémoire pour les essaims d'agents Claude

Un développeur travaille depuis neuf mois sur un système de mémoire appelé Stompy, évoluant d'un système basé sur des fichiers à SQLite puis PostgreSQL. L'objectif était de minimiser l'utilisation de tokens lors de l'exécution d'essaims d'agents Claude. Ils ont réalisé une évaluation comparant les performances avec et sans le système de mémoire.

Configuration du test

L'évaluation utilisait une tâche de codage de 40 points nécessitant une fonctionnalité de réservation complète avec backend, frontend et tests. Un essaim de 6 agents a été testé avec trois modèles Claude différents comme chef : Sonnet 4.6, Opus 4.6 et Haiku 4.5. Tous les tests utilisaient la même base de code, les mêmes coéquipiers et le même système de notation. Les agents coéquipiers utilisaient toujours Opus, quel que soit le modèle chef.

Résultats de l'évaluation

• Sonnet 4.6 + mémoire : 40/40, 3,98 $, 6,5 min, 2 tours
• Sonnet 4.6 sans mémoire : 40/40, 7,04 $, 9,6 min, 4 tours
• Opus 4.6 + mémoire : 40/40, 4,34 $, 9,6 min, 29 tours
• Opus 4.6 sans mémoire : 40/40, 7,65 $, 10,0 min, 70 tours
• Haiku 4.5 + mémoire : 39/40, 4,95 $, 7,5 min, 2 tours
• Haiku 4.5 sans mémoire : 0/40, 3,97 $, 5,8 min, 3 tours

Principales conclusions

Opus et Sonnet avec mémoire ont permis d'économiser environ 43 % sur les coûts par rapport à leur exécution sans mémoire. Le développeur note que ces modèles sont suffisamment intelligents pour accomplir la tâche sans mémoire, mais qu'ils gaspillent des tokens sur l'exploration de la base de code, ce que le système de mémoire élimine.

Le résultat avec Haiku était inattendu : il a obtenu 0/40 sans mémoire mais 39/40 avec mémoire. Le développeur a observé que Haiku ne pouvait pas coordonner les agents coéquipiers Opus sans comprendre la structure du projet, mais est devenu un chef compétent avec accès à la mémoire.

Sonnet avec mémoire était la configuration globale la meilleure, surpassant Opus sans mémoire sur toutes les métriques à environ la moitié du coût. La conclusion est que rendre les connaissances du projet disponibles au modèle importe plus que d'utiliser des modèles coûteux.

Détails techniques

Le système de mémoire s'appelle Stompy et est basé sur MCP/API/CLI, fonctionnant avec Claude Code. La configuration de l'évaluation est disponible sur GitHub pour que d'autres puissent l'utiliser ou l'améliorer. Le développeur note qu'il s'agit pour l'instant de n=1 par condition, avec davantage d'exécutions prévues.