El buen desarrollo asistido por IA ocurre a nivel de sistemas, no a nivel de tareas

Una publicación de Reddit de u/johns10davenport sostiene que el verdadero apalancamiento en el desarrollo asistido por IA proviene de cambiar el sistema, no de mejorar los prompts. El autor relata una frustración común: cada vez que añaden una nueva función a su app Phoenix, el agente de codificación de IA entrega la función pero omite el elemento del menú. La página existe, la funcionalidad funciona, pero no hay forma de que un usuario llegue allí.

El problema de corregir a nivel de tarea

El primer instinto es decirle al modelo: "añade el botón". Eso funciona, pero el humano sigue haciendo el trabajo de pensar: diagnosticar el problema y prescribir la solución. El autor llama a esto "pedalear la Peloton para que Anthropic me dé tokens gratis". La ingeniería de prompts solo te hace mejor para decirle al modelo qué hacer, pero sigues trabajando para el modelo.

El cambio a nivel de sistema

En lugar de corregir el botón faltante, el autor se preguntó: ¿cómo hago que este error sea imposible en el futuro? Su solución usa especificaciones BDD y ayudantes de prueba de Phoenix LiveView. La función navigate del marco de pruebas permite al agente saltar directamente a cualquier página, pasando pruebas sin tocar la interfaz. Así que escribieron una regla de linter que impide que el agente llame a navigate. Ahora hay una fixture permitida que coloca la prueba en una ruta de inicio conocida, y la única forma en que el agente puede llegar a la nueva función es haciendo clic a través de la interfaz, lo que lo obliga a añadir el elemento del menú para que la prueba pase.

El resultado: el problema nunca volverá a ocurrir, no por un mejor prompt, sino porque el comportamiento correcto es el único comportamiento posible.

Conclusión clave

Deja de corregir el resultado del modelo. Empieza a restringir su entorno para que el resultado correcto sea el camino de menor resistencia. Cada error es una oportunidad para diseñar el siguiente.