Netlify teste 11 modèles d'IA pour le codage : quel est le meilleur ?

Netlify a publié une comparaison réelle de 11 modèles d'IA exécutant des invites de codage identiques, en utilisant leur outil d'évaluation open-source, AXIS. Les tests couvrent des tâches courantes de développement web comme la création d'un site de café, une application de tâches, et une application de recettes IA, vous donnant des données concrètes sur la qualité des modèles et les coûts en crédits.

Cette comparaison arrive juste après le partenariat de Netlify avec OpenRouter, qui permet à vos projets d'utiliser n'importe quel modèle sur OpenRouter via leur passerelle IA. Pour leurs Agent Runners (le cadre de discussion dans Netlify qui construit ou itère des projets), ils ont ajouté l'agent open-source OpenCode afin que vous puissiez piloter une gamme plus large de modèles, y compris Kimi K3, GLM 5.2 et DeepSeek V4.

Ce qu'ils ont testé

Netlify a utilisé le framework AXIS interne pour exécuter trois cas d'utilisation simples :

• Site de café – simple site statique, plus un suivi pour ajouter des réservations de places.
• Application de liste de tâches – nécessite une base de données partagée dès le départ, puis ajoute des téléchargements de photos en option.
• Application "Qu'est-ce que je peux cuisiner" – les utilisateurs saisissent des ingrédients, et le site utilise la passerelle IA pour générer des recettes.

Ils ont évalué sur la fonctionnalité (et non le design), en vérifiant par exemple : Utilise-t-il une base de données quand nécessaire ? Utilise-t-il correctement Netlify Database ? Évite-t-il la sur-ingénierie ? Les modèles qui échouent systématiquement aux contrôles ne sont pas proposés dans Agent Runners.

Principaux résultats

Le rapport complet, disponible sur leur blog, montre le site généré par chaque modèle, les notes sur les problèmes notables et les coûts en crédits. Bien qu'ils n'aient pas publié de scores officiels dans ce post, ils soulignent d'importantes différences dans les résultats. Par exemple, ils mentionnent avoir exécuté GPT 5.6 Sol en effort faible par défaut, offrant une alternative plus économique à Opus qui donne néanmoins de "très bons résultats".

Ils ont également noté que le coût en crédits varie énormément entre les modèles pour la même tâche, donc vous pourriez payer un supplément pour un modèle qui ne produit pas de meilleure sortie.

À retenir

Si vous choisissez un modèle de codage pour vos propres projets basés sur des agents, c'est un point de données utile. Le test se concentre sur des scénarios de développement web réels et inclut des modèles open-source souvent surévalués. Les résultats sont subjectifs (ils l'admettent), mais il vaut la peine de les examiner avant de vous engager sur un modèle par défaut ou de dépenser des crédits.

Remarque : Ceci est le premier d'une série ; les prochains articles approfondiront les autres cas d'utilisation.