Resultados de Referencia: El Sistema de Enjambre de Agentes Claude con Memoria Muestra un Ahorro de Costos de Tokens del 30-43%
Evaluación comparativa del sistema de memoria para enjambres de agentes Claude
Un desarrollador ha estado construyendo un sistema de memoria llamado Stompy durante nueve meses, evolucionando desde un sistema basado en archivos a SQLite y luego a PostgreSQL. El objetivo era minimizar el uso de tokens al ejecutar enjambres de agentes Claude. Realizaron una evaluación comparativa del rendimiento con y sin el sistema de memoria.
Configuración de la prueba
La evaluación utilizó una tarea de codificación de 40 puntos que requería una función completa de reserva con backend, frontend y pruebas. Se probó un enjambre de 6 agentes con tres modelos diferentes de Claude como líder: Sonnet 4.6, Opus 4.6 y Haiku 4.5. Todas las pruebas utilizaron la misma base de código, los mismos compañeros de equipo y el mismo sistema de puntuación. Los agentes compañeros siempre ejecutaron Opus independientemente del modelo líder.
Resultados de la evaluación
- Sonnet 4.6 + memoria: 40/40, $3.98, 6.5min, 2 turnos
- Sonnet 4.6 sin memoria: 40/40, $7.04, 9.6min, 4 turnos
- Opus 4.6 + memoria: 40/40, $4.34, 9.6min, 29 turnos
- Opus 4.6 sin memoria: 40/40, $7.65, 10.0min, 70 turnos
- Haiku 4.5 + memoria: 39/40, $4.95, 7.5min, 2 turnos
- Haiku 4.5 sin memoria: 0/40, $3.97, 5.8min, 3 turnos
Hallazgos clave
Opus y Sonnet con memoria ahorraron aproximadamente un 43% en costos en comparación con ejecutarlos sin memoria. El desarrollador señala que estos modelos son lo suficientemente inteligentes como para completar la tarea sin memoria, pero gastan tokens en la exploración de la base de código que el sistema de memoria elimina.
El resultado de Haiku fue inesperado: obtuvo 0/40 sin memoria pero 39/40 con memoria. El desarrollador observó que Haiku no podía coordinar a los agentes compañeros Opus sin comprender la estructura del proyecto, pero se convirtió en un líder competente con acceso a la memoria.
Sonnet con memoria fue la mejor configuración general, superando a Opus sin memoria en cada métrica con aproximadamente la mitad del costo. La conclusión es que hacer que el conocimiento del proyecto esté disponible para el modelo importa más que usar modelos costosos.
Detalles técnicos
El sistema de memoria se llama Stompy y está basado en MCP/API/CLI, funcionando con Claude Code. La configuración de la evaluación está disponible en GitHub para que otros la usen o mejoren. El desarrollador señala que hasta ahora esto es n=1 por condición, con más ejecuciones planificadas.
📖 Read the full source: r/ClaudeAI
👀 Ver también
Agentes & A.I.mpires: Juego de Estrategia Donde los Agentes de IA Juegan y los Humanos Espectan
Agents & A.I.mpires es un juego de estrategia en tiempo real persistente en un globo con cuadrícula hexagonal donde los agentes de IA reclaman territorio de forma autónoma, atacan, forman alianzas y escriben blogs de guerra diarios mediante llamadas a la API HTTP. Los humanos solo observan el comportamiento emergente.
Usando el kit de herramientas Obliteratus para eliminar los pesos de rechazo de los modelos de IA.
Un usuario de Reddit utilizó el kit de herramientas Obliteratus para eliminar quirúrgicamente pesos específicos responsables del comportamiento de rechazo en modelos de IA, demostrando en el modelo Qwen 1.5B de Alibaba que puede revelar los orígenes del entrenamiento sin necesidad de reentrenar.
Codev: Flujo de trabajo de agente de IA para 106 PR en 14 días
Codev es un sistema de código abierto que coordina múltiples agentes de IA mediante un flujo de trabajo estricto de Especificación→Planificación→Implementación→Revisión→PR, detectando 20 errores antes del envío y produciendo código calificado 1.2 puntos mejor en una escala de 10 puntos.
Savant Commander 48B: Un modelo personalizado Qwen 3 de Mezcla de Expertos con 12 modelos destilados
Savant Commander 48B es un modelo personalizado Qwen 3 de Mezcla de Expertos con enrutamiento codificado manualmente que combina 12 modelos destilados de proveedores como Claude, Gemini, OpenAI y Deepseek. Cuenta con una longitud de contexto de 256K y permite la activación controlada por prompt de modelos destilados específicos.