Тестирование локальных LLM для автономной генерации кода: Бенчмарк качества и скорости

Разработчик потратил несколько месяцев на создание ИИ-агента, который автономно пишет код на Go с использованием локальных LLM, в частности для генерации парсеров логов для SIEM-конвейеров. Основная проблема заключалась в оценке: как объективно измерить, насколько модель полезна для задач автономного программирования.

Тестовая среда

Среда работает следующим образом:

• Агенты генерируют реальные парсеры Go на основе описаний форматов логов.
• Сгенерированный код Go компилируется.
• Извлеченные поля и типы проверяются на соответствие ожидаемым схемам.
• Качество парсинга измеряется относительно ожидаемых схем.
• Пропускная способность и скорость отслеживаются в ходе более длительных прогонов.

Первый публичный релиз

Автор опубликовал первую публичную версию теста и методологии по следующей ссылке. В посте обсуждаются результаты с учетом текущего темпа выпуска открытых моделей. Автор также просит обратную связь и предложения, какую модель тестировать следующей.

Прочитайте полный пост в блоге для получения подробных результатов и методологии: Testing Local LLMs in Practice: Code Generation, Quality vs. Speed

Это практический ресурс для разработчиков, создающих ИИ-агентов для программирования и выбирающих локальные LLM для задач генерации кода.