El benchmark MemAware muestra que la memoria del agente basado en RAG falla en la recuperación de contexto implícito.

El benchmark MemAware aborda una brecha en las pruebas de memoria de agentes existentes al evaluar si los agentes de IA pueden recuperar contexto relevante del pasado cuando los usuarios no lo solicitan explícitamente. La mayoría de los sistemas de memoria de agentes actuales siguen un patrón sencillo: el usuario pregunta algo → el agente busca en la memoria → recupera resultados → responde. Esto funciona bien para consultas explícitas como "¿cuál fue la decisión sobre la base de datos?" pero falla cuando el contexto es implícito.

Qué evalúa MemAware

El benchmark incluye 900 preguntas en tres niveles de dificultad que prueban la recuperación de contexto implícito:

• Fácil: Preguntas con superposición de palabras clave (por ejemplo, "¿A qué hora debo poner mi alarma para mi reunión de las 8:30?" debería recordar un viaje de 45 minutos)
• Medio: Preguntas dentro del mismo dominio
• Difícil: Preguntas entre dominios sin conexiones de palabras clave (por ejemplo, "El Ford Mustang necesita filtro de aire, ¿dónde puedo usar mis descuentos de lealtad?" debería recordar que el usuario compra en Target)

Resultados del benchmark

Las pruebas con búsqueda local BM25 + vectorial revelaron limitaciones significativas:

• Nivel fácil: 6.0% de precisión
• Nivel medio: 3.7% de precisión
• Nivel difícil: 0.7% de precisión — esencialmente lo mismo que no tener memoria en absoluto (0.8%)

El nivel difícil representa problemas no resueltos donde las consultas de búsqueda no conectan conceptos entre dominios. El autor del benchmark sugiere que las soluciones efectivas pueden requerir "algún tipo de visión general precargada del historial completo del usuario en lugar de una recuperación por consulta".

Implicaciones prácticas

Esto resalta una limitación fundamental en los sistemas de memoria de agentes basados en RAG actuales. Cuando los usuarios no usan las palabras clave correctas o cuando las conexiones abarcan diferentes dominios, los enfoques de búsqueda estándar no logran recuperar contexto relevante. El conjunto de datos y el entorno de prueba son de código abierto bajo licencia MIT, lo que permite a los desarrolladores probar sus propios sistemas de memoria.