Reddit-Nutzer experimentiert mit fehlertoleranten Coding-Agenten, um Wiederholungsschleifen zu durchbrechen

Ein Entwickler auf r/LocalLLaMA experimentiert mit Coding-Agents, die aus Fehlern lernen, um aus repetitiven Wiederholungsschleifen auszubrechen. Der Ansatz konzentriert sich darauf, Fehler als wiederverwendbare Informationen zu behandeln, anstatt nur rohe Fehler zu protokollieren.

Das Problem: In Fehlerschleifen feststecken

Der Entwickler beobachtete, dass Coding-Agents oft in Fehlermustern stecken bleiben: Fehler → Wiederholung → erneut Fehler. Ursprünglich als Modellbeschränkung angesehen, scheint das Problem ein Fehlerbehandlungsproblem zu sein, bei dem Systeme nicht nachverfolgen, warum etwas fehlgeschlagen ist. Beim Wiederholen generieren Agents typischerweise Variationen desselben Versuchs und wiederholen dieselben Fehler auf leicht unterschiedliche Weise.

Der experimentelle Ansatz

Anstatt rohe Protokolle zu behalten, begann der Entwickler, vereinfachte "Ursachen" zu speichern und sie mit zuvor funktionierenden Lösungen zu verknüpfen. Zukünftige Versuche gleichen dann mit diesem gespeicherten Wissen ab, anstatt erneut zu raten. Der Entwickler merkt an, dass dieser Ansatz noch grob ist, aber ein anderes Verhalten zeigt: Das System bleibt nicht so oft in denselben Schleifen stecken und konvergiert manchmal tatsächlich auf Lösungen.

Aktuelle Herausforderungen

• Fehler zuverlässig abzugleichen ist knifflig
• Wenn das System das Falsche verallgemeinert, kann es schlechte Lösungen verstärken
• Unklar, wie die Wiederverwendung bekannter Lösungen gegenüber der Erkundung neuer Ansätze abgewogen werden soll

Der Entwickler sucht Community-Input zu diesem Ansatz und ob andere ähnliche Methoden zur Verbesserung der Fehlerbehebung von Coding-Agents ausprobiert haben.