Netlify prueba 11 modelos de IA para codificación: ¿Cuál es el mejor?

Netlify ha publicado una comparación real de 11 modelos de IA ejecutando las mismas indicaciones de codificación, utilizando su herramienta de evaluación de código abierto, AXIS. Las pruebas cubren tareas comunes de desarrollo web, como crear un sitio de cafetería, una aplicación de tareas y una aplicación de recetas con IA, brindándote datos concretos sobre la calidad de los modelos y los costos de créditos.

Esta comparación llega justo después de la asociación de Netlify con OpenRouter, que permite que tus proyectos utilicen cualquier modelo en OpenRouter a través de su Gateway de IA. Para sus Agentes (el cuadro de chat en Netlify que crea o itera proyectos), han añadido el agente de código abierto OpenCode para que puedas manejar una gama más amplia de modelos, incluidos Kimi K3, GLM 5.2 y DeepSeek V4.

Lo que probaron

Netlify utilizó su marco AXIS para ejecutar tres casos de uso sencillos:

• Sitio de cafetería: un sitio estático simple, más una acción adicional para añadir reservas de asientos.
• Aplicación de lista de tareas: requiere una base de datos compartida desde el principio, luego añade carga de fotos opcional.
• Aplicación '¿Qué puedo cocinar?': los usuarios ingresan ingredientes, y el sitio usa el Gateway de IA para generar recetas.

Evaluaron la funcionalidad (no el diseño), comprobando cosas como: ¿Usa una base de datos cuando es necesario? ¿Usa adecuadamente Netlify Database? ¿Evita la sobreingeniería? Los modelos que fallan sistemáticamente en las comprobaciones no se ofrecen en los Agentes.

Hallazgos clave

El informe completo, disponible en su blog, muestra el sitio generado por cada modelo, notas sobre problemas destacados y costos de créditos. Aunque no publicaron puntuaciones oficiales en esta publicación, destacan grandes diferencias en los resultados. Por ejemplo, mencionan ejecutar GPT 5.6 Sol con esfuerzo bajo por defecto, ofreciendo una alternativa más económica a Opus que aún da "resultados bastante buenos".

También señalaron que el costo de créditos varía enormemente entre modelos para la misma tarea, por lo que podrías estar pagando una prima por un modelo que no produce un mejor resultado.

Conclusión

Si estás eligiendo un modelo de codificación para tus propios proyectos basados en agentes, este es un dato útil. La prueba se centra en escenarios reales de desarrollo web e incluye modelos de código abierto que a menudo son promocionados. Los resultados son subjetivos (lo admiten), pero vale la pena revisarlos antes de comprometerte con un modelo predeterminado o gastar créditos.

Nota: Esta es la primera de una serie; las publicaciones de seguimiento profundizarán en los otros casos de uso.