良いAI支援開発はタスクレベルではなくシステムレベルで起こる

Redditユーザーのu/johns10davenportは、AI支援開発における真のレバレッジはプロンプトの改善ではなく、システムを変えることにあると主張しています。著者はよくあるフラストレーションを語ります：Phoenixアプリに新機能を追加するたびに、AIコーディングエージェントは機能を実装するものの、メニュー項目を追加し忘れるのです。ページは存在し、機能は動作するが、ユーザーがそこにたどり着く方法がないのです。

タスクレベルの修正の問題点

最初の直感は「ボタンを追加して」とモデルに指示することです。それは効果がありますが、人間がまだ思考しています——問題を診断し、修正を指示しているのです。著者はこれを「Anthropicにフリートークンをもらうためにペロトンを漕いでいる」と呼びます。プロンプトエンジニアリングは、モデルに何をすべきかを伝える能力を高めるだけで、依然として人間がモデルのために働いているのです。

システムレベルのシフト

欠落したボタンを修正する代わりに、著者は「将来このミスを不可能にするにはどうすればよいか？」と考えました。彼らの解決策は、BDDスペックとPhoenix LiveViewテストヘルパーを利用したものです。テストフレームワークのnavigate関数を使うと、エージェントは任意のページに直接ジャンプでき、UIを経由せずにテストに合格します。そこで、エージェントがnavigateを呼び出すのを禁止するリンタールールを作成しました。これにより、テストを既知の開始ルートに配置する許可されたフィクスチャのみが利用可能となり、エージェントが新機能に到達する唯一の方法はUIをクリックして進むことです——つまり、テストに合格するためにメニュー項目を追加せざるを得なくなります。

結果：同じ問題は二度と発生しません。なぜなら、より優れたプロンプトのためではなく、正しい動作が唯一可能な動作だからです。

重要なポイント

モデルの出力を修正するのはやめましょう。代わりに、正しい出力が最も抵抗力の少ない経路となるように環境を制約することです。すべてのミスは、次のミスを設計によって排除するチャンスです。