Gute KI-gestützte Entwicklung findet auf Systemebene statt, nicht auf Aufgabenebene

Ein Reddit-Beitrag von u/johns10davenport argumentiert, dass der wahre Hebel bei der KI-gestützten Entwicklung darin liegt, das System zu ändern, nicht die Prompts zu verbessern. Der Autor schildert eine häufige Frustration: Jedes Mal, wenn sie eine neue Funktion zu ihrer Phoenix-App hinzufügen, liefert der KI-Coding-Agent die Funktion aus, lässt aber den Menüpunkt weg. Die Seite existiert, die Funktionalität funktioniert, aber es gibt keine Möglichkeit für den Benutzer, dorthin zu gelangen.

Das Problem mit der Behebung auf Aufgabenebene

Der erste Instinkt ist, dem Modell zu sagen: „Füge den Button hinzu.“ Das funktioniert, aber der Mensch denkt immer noch – diagnostiziert das Problem und verschreibt die Lösung. Der Autor nennt das „das Peloton treten, damit Anthropic mir kostenlose Tokens geben kann.“ Prompt Engineering macht einen nur besser darin, dem Modell zu sagen, was es tun soll, aber man arbeitet immer noch für das Modell.

Der Systemwechsel

Statt den fehlenden Button zu korrigieren, fragte sich der Autor: Wie kann ich diesen Fehler in Zukunft unmöglich machen? Ihre Lösung verwendet BDD-Spezifikationen und Phoenix LiveView-Testhelfer. Die navigate-Funktion des Test-Frameworks ermöglicht es dem Agenten, direkt zu jeder Seite zu springen, Tests zu bestehen, ohne jemals die UI zu berühren. Also schrieben sie eine Linter-Regel, die verhindert, dass der Agent navigate aufruft. Jetzt gibt es ein erlaubtes Fixture, das den Test auf eine bekannte Startroute setzt, und der einzige Weg für den Agenten, die neue Funktion zu erreichen, ist das Durchklicken der UI – was ihn zwingt, den Menüpunkt hinzuzufügen, damit der Test besteht.

Das Ergebnis: Das Problem wird nie wieder auftreten, nicht wegen eines besseren Prompts, sondern weil das korrekte Verhalten das einzig mögliche Verhalten ist.

Wichtigste Erkenntnis

Hör auf, die Ausgabe des Modells zu korrigieren. Fang an, seine Umgebung so einzuschränken, dass die richtige Ausgabe der Weg des geringsten Widerstands ist. Jeder Fehler ist eine Chance, den nächsten wegzudesignen.