Bom Desenvolvimento Assistido por IA Acontece no Nível de Sistemas, Não no Nível de Tarefas

Um post no Reddit do usuário u/johns10davenport argumenta que a verdadeira alavancagem no desenvolvimento assistido por IA vem de mudar o sistema, não de melhorar os prompts. O autor relata uma frustração comum: toda vez que adiciona um novo recurso ao seu aplicativo Phoenix, o agente de codificação de IA entrega o recurso, mas omite o item de menu. A página existe, a funcionalidade funciona, mas não há como o usuário chegar lá.

O Problema da Correção no Nível da Tarefa

O primeiro instinto é dizer ao modelo: "adicione o botão". Isso funciona, mas o humano ainda está pensando — diagnosticando o problema e prescrevendo a solução. O autor chama isso de "pedalar o Peloton para que a Anthropic me dê tokens grátis". Engenharia de prompt só faz você melhor em dizer ao modelo o que fazer, mas você ainda está trabalhando para o modelo.

A Mudança no Nível do Sistema

Em vez de corrigir o botão ausente, o autor perguntou: como tornar esse erro impossível no futuro? A solução deles usa especificações BDD e auxiliares de teste do Phoenix LiveView. A função navigate do framework de teste permite que o agente pule diretamente para qualquer página, passando nos testes sem nunca tocar na interface. Então eles escreveram uma regra de linter que impede o agente de chamar navigate. Agora existe uma fixture permitida que coloca o teste em uma rota inicial conhecida, e a única maneira do agente alcançar o novo recurso é clicando pela interface — o que o força a adicionar o item de menu para fazer o teste passar.

O resultado: o problema nunca mais ocorrerá, não por causa de um prompt melhor, mas porque o comportamento correto é o único comportamento possível.

Conclusão Principal

Pare de corrigir a saída do modelo. Comece a restringir o ambiente dele para que a saída correta seja o caminho de menor resistência. Cada erro é uma oportunidade de projetar para eliminar o próximo.