Тестирование показывает, что контекстный движок снижает затраты на ИИ-агентов для написания кода в 3 раза на платформе SWE-bench.
Разработчик протестировал четыре ИИ-агента для программирования на SWE-bench Verified, используя одну и ту же модель Claude Opus 4.5, где управление контекстом было единственной переменной. Результаты показывают значительную разницу в стоимости при схожем уровне производительности.
Настройка тестирования
Тест использовал стратифицированную выборку из 100 задач SWE-bench Verified с пропорциональным представлением всех 12 репозиториев. Все агенты работали на Claude Opus 4.5 с одинаковым бюджетом $3 за задачу и лимитом в 250 шагов. Единственным отличием был контекстный слой перед моделью.
Результаты
- Контекстный движок + Claude Code: 73.0% Pass@1, $0.67/задача
- Live-SWE-Agent: 72.0% Pass@1, $0.86/задача
- OpenHands: 70.0% Pass@1, $1.77/задача
- Sonar Foundation: 70.0% Pass@1, $1.98/задача
Самая дорогая настройка стоит в 3 раза больше за задачу при более низком проценте решений. Восемь задач были решены только настройкой с контекстным слоем — это ошибки, которые модель не могла исправить без просмотра нужного кода.
Ограничения
На matplotlib (код с интенсивной отрисовкой и визуальным выводом) контекстный движок набрал 43%, в то время как Sonar Foundation достиг 86%. Контекст на основе графов менее эффективен, когда релевантный код не следует цепочкам зависимостей.
Как работает контекстный слой
Вместо того чтобы позволять Claude читать целые файлы, он предварительно индексирует кодовую базу в граф зависимостей с использованием tree-sitter + SQLite (поддерживается 30 языков) и возвращает ранжированную контекстную капсулу: полный исходный код для важных функций, скелетные сигнатуры для всего, что связано с ними. Агент начинает каждую задачу, уже зная, что является релевантным.
Он включает сессионную память, которая сохраняется между сессиями через MCP. Когда код изменяется, предыдущие наблюдения автоматически помечаются как устаревшие, поэтому агент не исследует одни и те же вещи повторно.
Система на 100% локальная, без облака, без учётных записей и без передачи кода с вашего компьютера. Она работает с Claude Code и 11 другими агентами через MCP.
Доступность в открытом исходном коде
Инфраструктура для тестирования, все журналы оценок, результаты по каждому экземпляру и скрипты сравнения доступны на GitHub по адресу github.com/Vexp-ai/vexp-swe-bench. Сам инструмент доступен на vexp.dev с бесплатным тарифом, расширением для VS Code или CLI. Полные результаты тестирования с графиками находятся на vexp.dev/benchmark.
📖 Read the full source: r/ClaudeAI
👀 Смотрите также
InsForge: Семантический слой бэкенда для агентов кода Claude
InsForge предоставляет шесть бэкенд-примитивов — аутентификацию, базу данных Postgres, хранилище, совместимое с S3, edge/бессерверные функции, шлюз моделей и развертывание сайта — в виде структурированных компонентов, которые агенты Claude Code могут анализировать и настраивать через MCP, вместо того чтобы угадывать интеграции API.
XLI: Библиотека Python с открытым исходным кодом для терминальных интерфейсов в стиле Claude Code
Строите кодового агента? UX терминала — половина работы. XLI — это открытый рендеринговый движок на Python, который воспроизводит потоковый Markdown, карточки инструментов, встроенные подтверждения и слэш-команды Claude Code, не захватывая буфер терминала.
Sovr MCP Proxy добавляет уровень безопасности для предотвращения деструктивных команд LLM.
Разработчик создал sovr-mcp-proxy после того, как локальная LLM чуть не выполнила rm -rf в домашней папке. Инструмент перехватывает команды перед выполнением и блокирует деструктивные шаблоны, включая rm -rf, DROP TABLE, curl | sh и chmod 777.
Werld: Открытая симуляция искусственной жизни с эволюционирующими нейронными сетями
Werld — это симуляция искусственной жизни в реальном времени, где агенты с нейронными сетями NEAT эволюционируют собственную нейронную архитектуру, сенсорную обработку и поведение без жёстко заданных правил или функций вознаграждения. Симуляция начинается с 30 агентов на графе малого мира Уоттса-Строгаца с 64 сенсорными каналами, 7 непрерывными моторными функциями и 29 наследуемыми признаками генома.