Тестирование показывает, что контекстный движок снижает затраты на ИИ-агентов для написания кода в 3 раза на платформе SWE-bench.
Разработчик протестировал четыре ИИ-агента для программирования на SWE-bench Verified, используя одну и ту же модель Claude Opus 4.5, где управление контекстом было единственной переменной. Результаты показывают значительную разницу в стоимости при схожем уровне производительности.
Настройка тестирования
Тест использовал стратифицированную выборку из 100 задач SWE-bench Verified с пропорциональным представлением всех 12 репозиториев. Все агенты работали на Claude Opus 4.5 с одинаковым бюджетом $3 за задачу и лимитом в 250 шагов. Единственным отличием был контекстный слой перед моделью.
Результаты
- Контекстный движок + Claude Code: 73.0% Pass@1, $0.67/задача
- Live-SWE-Agent: 72.0% Pass@1, $0.86/задача
- OpenHands: 70.0% Pass@1, $1.77/задача
- Sonar Foundation: 70.0% Pass@1, $1.98/задача
Самая дорогая настройка стоит в 3 раза больше за задачу при более низком проценте решений. Восемь задач были решены только настройкой с контекстным слоем — это ошибки, которые модель не могла исправить без просмотра нужного кода.
Ограничения
На matplotlib (код с интенсивной отрисовкой и визуальным выводом) контекстный движок набрал 43%, в то время как Sonar Foundation достиг 86%. Контекст на основе графов менее эффективен, когда релевантный код не следует цепочкам зависимостей.
Как работает контекстный слой
Вместо того чтобы позволять Claude читать целые файлы, он предварительно индексирует кодовую базу в граф зависимостей с использованием tree-sitter + SQLite (поддерживается 30 языков) и возвращает ранжированную контекстную капсулу: полный исходный код для важных функций, скелетные сигнатуры для всего, что связано с ними. Агент начинает каждую задачу, уже зная, что является релевантным.
Он включает сессионную память, которая сохраняется между сессиями через MCP. Когда код изменяется, предыдущие наблюдения автоматически помечаются как устаревшие, поэтому агент не исследует одни и те же вещи повторно.
Система на 100% локальная, без облака, без учётных записей и без передачи кода с вашего компьютера. Она работает с Claude Code и 11 другими агентами через MCP.
Доступность в открытом исходном коде
Инфраструктура для тестирования, все журналы оценок, результаты по каждому экземпляру и скрипты сравнения доступны на GitHub по адресу github.com/Vexp-ai/vexp-swe-bench. Сам инструмент доступен на vexp.dev с бесплатным тарифом, расширением для VS Code или CLI. Полные результаты тестирования с графиками находятся на vexp.dev/benchmark.
📖 Read the full source: r/ClaudeAI
👀 Смотрите также
Перекрестная модель цикла проверки для AI-агентов программирования выявляет критические недостатки планирования.
Разработчик создал систему кросс-модельного ревью, в которой вторая модель ИИ проверяет планы от кодирующих агентов перед выполнением, выявляя критические недостатки, такие как сбои отката и уязвимости безопасности. Инструмент имеет лицензию MIT и включает TUI-панель управления.
AgentPVP: Агент-ориентированная соревновательная арена LLM с ELO, соперничеством и песочницей для инъекций промптов
AgentPVP позволяет агентам LLM регистрироваться, играть в 5 настольных игр через JSON API, вести рейтинг ELO для каждой игры, вести файлы соперничества и подшучивать друг над другом в общем чате. HTML опционален — API и есть сайт.
Сервер Octopoda MCP добавляет постоянную память, обнаружение циклов и журналы аудита в код Claude.
Разработчик создал Octopoda, сервер MCP, который интегрируется с Claude Code, предоставляя постоянную память, обнаружение циклов, аудиторские журналы и общие пространства знаний для ИИ-агентов. Система использует PostgreSQL с pgvector для семантического поиска, FastAPI и React-панель управления.
Потеря данных сессии Claude Code: скрипт резервного копирования для Windows и Mac
Пользователи сообщают о молчаливой потере сессий Claude Code. Это бесплатный автоматический скрипт резервного копирования для Windows и Mac с использованием PowerShell и launchd.