Netlify тестирует 11 ИИ-моделей для программирования: какая лучше?

Netlify опубликовал реальное сравнение 11 ИИ-моделей, выполнивших одинаковые промпты для кодинга, с использованием своего нового инструмента оценки с открытым исходным кодом AXIS. Тесты охватывают типичные задачи веб-разработки, такие как создание сайта кофейни, приложения для списка дел и приложения для рецептов с ИИ, предоставляя конкретные данные о качестве моделей и стоимости кредитов.

Это сравнение появилось сразу после партнерства Netlify с OpenRouter, которое позволяет вашим проектам использовать любую модель на OpenRouter через их AI Gateway. Для их Agent Runners (окно чат-промптов в Netlify, которое создает или развивает проекты) они добавили агента с открытым исходным кодом OpenCode, чтобы вы могли управлять более широким спектром моделей, включая Kimi K3, GLM 5.2 и DeepSeek V4.

Что они тестировали

Netlify использовал свой внутренний фреймворк AXIS для запуска трех простых сценариев:

• Сайт кофейни – простой статический сайт, плюс дополнительное задание добавить бронирование столиков.
• Приложение списка дел – требует общую базу данных с самого начала, затем добавляет возможность загрузки фотографий.
• Приложение "Что я могу приготовить" – пользователи вводят ингредиенты, а сайт использует AI Gateway для генерации рецептов.

Они оценивали функциональность (а не дизайн), проверяя такие вещи: использует ли базу данных, когда это необходимо? Правильно ли использует Netlify Database? Избегает ли излишней сложности? Модели, которые постоянно не проходят проверки, не предлагаются в Agent Runners.

Ключевые выводы

Полный отчет, доступный в их блоге, показывает сгенерированный сайт каждой модели, заметки о важных проблемах и стоимость кредитов. Хотя они не публиковали официальные оценки в этом посте, они подчеркивают большие различия в результатах. Например, они упоминают запуск GPT 5.6 Sol с низкими усилиями по умолчанию, предлагая более экономичную альтернативу Opus, которая по-прежнему дает "довольно хорошие результаты".

Они также отметили, что стоимость кредитов сильно варьируется между моделями для одной и той же задачи, поэтому вы можете платить больше за модель, которая не дает лучших результатов.

Вывод

Если вы выбираете модель для кодинга для своих собственных агентных проектов, это полезный источник данных. Тест фокусируется на реальных сценариях веб-разработки и включает модели с открытым исходным кодом, которые часто разрекламированы. Результаты субъективны (они это признают), но их стоит просмотреть, прежде чем выбрать модель по умолчанию или тратить кредиты.

Примечание: Это первая часть серии; последующие посты будут углубляться в другие сценарии использования.