SWE-CI: Новые эталонные тесты оценивают ИИ-агентов в долгосрочном сопровождении кода через CI

Что на самом деле делает SWE-CI

SWE-CI — это первый бенчмарк на уровне репозитория, построенный на цикле непрерывной интеграции. Он призван сместить парадигму оценки генерации кода со статической, краткосрочной функциональной корректности в сторону динамической, долгосрочной поддерживаемости.

Ключевые детали из статьи

Бенчмарк включает 100 задач, каждая из которых в среднем соответствует:

• Истории эволюции протяжённостью 233 дня
• 71 последовательному коммиту в реальном репозитории кода

SWE-CI требует от агентов систематического решения этих задач через десятки раундов анализа и итераций кодирования. Это устраняет пробел в текущих методах оценки: хотя агенты на основе LLM продемонстрировали сильные возможности в автоматизации задач разработки ПО, таких как статическое исправление ошибок (как показали бенчмарки вроде SWE-bench), реальная разработка включает сложные изменения требований и долгосрочные итерации функций, которые статические, одношаговые парадигмы исправления не охватывают.

В статье отдельно отмечается, что SWE-CI даёт ценные инсайты о том, насколько хорошо агенты могут поддерживать качество кода на протяжении долгосрочной эволюции. Это выходит за рамки простого исправления ошибок, чтобы оценить, как агенты справляются с итеративной природой реальной разработки ПО.

Технический контекст

Такой тип бенчмарка важен, потому что большинство текущих оценок ИИ-агентов для кодинга сосредоточены на одношаговых исправлениях или изолированных проблемах кодирования. Подход SWE-CI на основе CI лучше отражает то, как разработка фактически происходит в зрелых проектах ПО, где изменения накапливаются со временем и должны сохранять совместимость с существующими системами.

Для разработчиков, использующих ИИ-агентов для кодинга, этот бенчмарк может помочь определить, какие агенты лучше подходят для долгосрочного сопровождения проектов, а какие — для быстрых исправлений. Многораундовая, итеративная природа задач проверяет настойчивость и последовательность — качества, которые важны при интеграции ИИ-помощников в текущие рабочие процессы разработки.