Redditユーザーがリトライループを打破するために失敗学習型コーディングエージェントを実験

r/LocalLLaMAの開発者が、失敗から学ぶことで繰り返しのリトライループから脱出するコーディングエージェントの実験を行っています。このアプローチは、失敗を単なるログではなく再利用可能な情報として扱うことに焦点を当てています。

問題点: 失敗ループに陥る

開発者は、コーディングエージェントがしばしば失敗パターンに陥ることを観察しました: 失敗 → リトライ → 再び失敗。当初はモデルの制限と考えられていましたが、この問題はシステムがなぜ失敗したかを追跡しないという失敗処理の問題のようです。リトライする際、エージェントは通常同じ試みのバリエーションを生成し、わずかに異なる方法で同じ間違いを繰り返します。

実験的アプローチ

生のログを保持する代わりに、開発者は簡略化された「根本原因」を保存し、以前に機能した修正とペアリングし始めました。将来の試行では、再び推測するのではなく、この保存された知識と照合します。開発者は、このアプローチはまだ粗いものの、異なる振る舞いを示すと指摘しています: システムは同じループに頻繁に陥らなくなり、時には実際に解決策に収束します。

現在の課題

• 失敗を確実に照合することは難しい
• システムが間違ったことを一般化すると、悪い修正を強化する可能性がある
• 既知の修正を再利用するか、新しいものを探索するかのバランスをどう取るかが不確か

開発者は、このアプローチについて、また他の人がコーディングエージェントの失敗回復を改善するために同様の方法を試したかどうかについて、コミュニティの意見を求めています。