Resultados de Referencia: El Sistema de Enjambre de Agentes Claude con Memoria Muestra un Ahorro de Costos de Tokens del 30-43%

Evaluación comparativa del sistema de memoria para enjambres de agentes Claude

Un desarrollador ha estado construyendo un sistema de memoria llamado Stompy durante nueve meses, evolucionando desde un sistema basado en archivos a SQLite y luego a PostgreSQL. El objetivo era minimizar el uso de tokens al ejecutar enjambres de agentes Claude. Realizaron una evaluación comparativa del rendimiento con y sin el sistema de memoria.

Configuración de la prueba

La evaluación utilizó una tarea de codificación de 40 puntos que requería una función completa de reserva con backend, frontend y pruebas. Se probó un enjambre de 6 agentes con tres modelos diferentes de Claude como líder: Sonnet 4.6, Opus 4.6 y Haiku 4.5. Todas las pruebas utilizaron la misma base de código, los mismos compañeros de equipo y el mismo sistema de puntuación. Los agentes compañeros siempre ejecutaron Opus independientemente del modelo líder.

Resultados de la evaluación

• Sonnet 4.6 + memoria: 40/40, $3.98, 6.5min, 2 turnos
• Sonnet 4.6 sin memoria: 40/40, $7.04, 9.6min, 4 turnos
• Opus 4.6 + memoria: 40/40, $4.34, 9.6min, 29 turnos
• Opus 4.6 sin memoria: 40/40, $7.65, 10.0min, 70 turnos
• Haiku 4.5 + memoria: 39/40, $4.95, 7.5min, 2 turnos
• Haiku 4.5 sin memoria: 0/40, $3.97, 5.8min, 3 turnos

Hallazgos clave

Opus y Sonnet con memoria ahorraron aproximadamente un 43% en costos en comparación con ejecutarlos sin memoria. El desarrollador señala que estos modelos son lo suficientemente inteligentes como para completar la tarea sin memoria, pero gastan tokens en la exploración de la base de código que el sistema de memoria elimina.

El resultado de Haiku fue inesperado: obtuvo 0/40 sin memoria pero 39/40 con memoria. El desarrollador observó que Haiku no podía coordinar a los agentes compañeros Opus sin comprender la estructura del proyecto, pero se convirtió en un líder competente con acceso a la memoria.

Sonnet con memoria fue la mejor configuración general, superando a Opus sin memoria en cada métrica con aproximadamente la mitad del costo. La conclusión es que hacer que el conocimiento del proyecto esté disponible para el modelo importa más que usar modelos costosos.

Detalles técnicos

El sistema de memoria se llama Stompy y está basado en MCP/API/CLI, funcionando con Claude Code. La configuración de la evaluación está disponible en GitHub para que otros la usen o mejoren. El desarrollador señala que hasta ahora esto es n=1 por condición, con más ejecuciones planificadas.