Тесты MemAware Benchmark проверяют память ИИ за пределами поиска по ключевым словам.

✍️ OpenClawRadar📅 Опубликовано: 27 марта 2026 г.🔗 Source
Тесты MemAware Benchmark проверяют память ИИ за пределами поиска по ключевым словам.
Ad

MemAware — это открытый бенчмарк, созданный для проверки того, могут ли ИИ-ассистенты с памятью извлекать релевантный контекст из прошлых разговоров, когда текущие запросы явно не содержат намёков на эту информацию.

Как работает бенчмарк

Бенчмарк содержит 900 вопросов по трём уровням сложности. Он тестирует сценарии, где релевантный контекст существует в памяти, но текущий вопрос не содержит ключевых слов, которые могли бы запустить поисковое совпадение. Например: вы рассказали своему ИИ-ассистенту о своей 45-минутной поездке на работу несколько месяцев назад, а позже спрашиваете: «На какое время мне поставить будильник для встречи в 8:30 утра?» Ассистент должен учесть вашу поездку, но поиск по «будильник 8:30 встреча» не найдёт разговоров о поездках на работу.

Ad

Ключевые выводы

  • Поиск почти не помогает: BM25-поиск набрал 2,8% против 0,8% без памяти — крошечное улучшение, которое обходится в 5 раз больше токенов.
  • Векторный поиск проваливается на сложных вопросах: Он помогает, когда ключевые слова пересекаются (6%), но падает до 0,7% на кросс-доменных связях — так же, как и без памяти. Пример сложного вопроса: «Как мне делать ставки на благотворительном аукционе?» должен вспомнить прошлую покупку сумки за $800 как базовый уровень трат, но сходство эмбеддингов не может связать эти концепции.
  • Поиск, когда не нужно, — дорого: Паттерн «всегда искать» читает ~4,7 тыс. токенов результатов на вопрос независимо от того, помогают они или нет. В большинстве случаев результаты — это нерелевантный шум.

Основная проблема

Текущие реализации памяти ИИ по сути являются просто поисковыми системами. Истинная осведомлённость памяти — знание того, какая информация хранится, и активное извлечение релевантного контекста — это другая проблема, которую один только поиск решить не может.

Бенчмарк доступен для тестирования различных подходов по адресу: https://github.com/kevin-hs-sohn/memaware

📖 Read the full source: r/ClaudeAI

Ad

👀 Смотрите также

IronBee: Открытый слой верификации для Claude Code и Cursor
Инструменты

IronBee: Открытый слой верификации для Claude Code и Cursor

IronBee — это открытый слой верификации, который заставляет AI-агентов для программирования тестировать изменения в реальном браузере перед завершением задач. В ходе тестирования он обнаружил ошибки в 82% сессий Claude Code, которые были бы отправлены без проверки.

OpenClawRadar
Примечание: Markdown-инструмент для аннотирования в рабочих процессах работы с кодом Claude
Инструменты

Примечание: Markdown-инструмент для аннотирования в рабочих процессах работы с кодом Claude

Remark — это нативное приложение для macOS, которое позволяет разработчикам добавлять аннотации в файлы Markdown прямо в тексте для рабочих процессов проверки кода в Claude Code. Оно экспортирует аннотации в формате JSON для агента и интегрируется через навык, установленный в директории .claude/skills/.

OpenClawRadar
Запуск Qwen3.6-35B-A3B-UD-Q5_K_XL локально с VS Code Copilot на AMD R9700
Инструменты

Запуск Qwen3.6-35B-A3B-UD-Q5_K_XL локально с VS Code Copilot на AMD R9700

Пользователь делится своей рабочей конфигурацией llama.cpp для Qwen3.6-35B-A3B-UD-Q5_K_XL на одной AMD R9700 с Vulkan, которая позволяет генерировать полноценный сайт и набор тестов Playwright с нуля при минимальной коррекции.

OpenClawRadar
Берега: Контейнеризованные хосты для запуска нескольких локальных сред
Инструменты

Берега: Контейнеризованные хосты для запуска нескольких локальных сред

Coasts — это решение Docker-in-Docker, которое решает проблему одновременного запуска нескольких локальных сред, автоматически обрабатывая конфликты портов, секреты и топологии томов без необходимости сложных скриптов.

OpenClawRadar