레딧 사용자가 재시도 루프를 깨기 위해 실패 학습 코딩 에이전트를 실험합니다

r/LocalLLaMA의 한 개발자가 반복적인 재시도 루프에서 벗어나기 위해 실패로부터 학습하는 코딩 에이전트 실험을 진행해 왔습니다. 이 접근법은 실패를 단순히 원시 오류를 기록하는 것이 아니라 재사용 가능한 정보로 취급하는 데 중점을 둡니다.

문제: 실패 루프에 갇힘

개발자는 코딩 에이전트가 종종 실패 → 재시도 → 다시 실패와 같은 실패 패턴에 갇히는 것을 관찰했습니다. 처음에는 모델의 한계로 생각되었지만, 이 문제는 시스템이 왜 실패했는지 추적하지 않는 실패 처리 문제로 보입니다. 재시도할 때 에이전트는 일반적으로 동일한 시도의 변형을 생성하여 약간 다른 방식으로 동일한 실수를 반복합니다.

실험적 접근법

원시 로그를 유지하는 대신, 개발자는 단순화된 '근본 원인'을 저장하고 이전에 작동했던 수정 사항과 짝을 지어 저장하기 시작했습니다. 이후 시도에서는 다시 추측하는 대신 이 저장된 지식과 매칭합니다. 개발자는 이 접근법이 아직 거칠지만 다른 행동을 보인다고 언급합니다: 시스템이 종종 같은 루프에 갇히지 않으며 때로는 실제로 해결책에 수렴합니다.

현재 과제

• 실패를 신뢰성 있게 매칭하는 것은 까다롭습니다
• 시스템이 잘못된 것을 일반화하면 나쁜 수정 사항을 강화할 수 있습니다
• 알려진 수정 사항 재사용과 새로운 수정 사항 탐색 사이의 균형을 어떻게 맞출지 불확실합니다

개발자는 이 접근법에 대한 커뮤니티의 의견과 코딩 에이전트 실패 복구를 개선하기 위해 다른 사람들이 유사한 방법을 시도했는지 여부를 찾고 있습니다.