좋은 AI 지원 개발은 작업 수준이 아닌 시스템 수준에서 이루어진다

Reddit 사용자 u/johns10davenport의 게시글에 따르면, AI 지원 개발에서 진정한 효과는 프롬프트 개선이 아닌 시스템 변경에서 비롯됩니다. 저자는 흔한 좌절감을 이야기합니다. Phoenix 앱에 새 기능을 추가할 때마다 AI 코딩 에이전트가 기능은 제공하지만 메뉴 항목은 누락한다는 것입니다. 페이지는 존재하고 기능은 작동하지만, 사용자가 접근할 방법이 없습니다.

작업 수준 수정의 문제점

첫 번째 본능은 모델에게 "버튼을 추가하라"고 말하는 것입니다. 효과는 있지만, 여전히 인간이 문제를 진단하고 해결책을 지시하는 사고를 하고 있습니다. 저자는 이를 "Anthropic이 무료 토큰을 주도록 Peloton을 페달링하는 것"이라고 부릅니다. 프롬프트 엔지니어링은 모델에게 무엇을 할지 더 잘 지시하게 만들 뿐, 여전히 모델을 위해 일하고 있는 것입니다.

시스템 수준의 전환

저자는 누락된 버튼을 수정하는 대신, 앞으로 이 실수를 불가능하게 만드는 방법을 고민했습니다. 해결책은 BDD 사양과 Phoenix LiveView 테스트 헬퍼를 사용하는 것입니다. 테스트 프레임워크의 navigate 함수를 사용하면 에이전트가 UI를 거치지 않고도 어떤 페이지로든 직접 이동하여 테스트를 통과할 수 있습니다. 그래서 저자는 에이전트가 navigate를 호출하지 못하도록 하는 린터 규칙을 작성했습니다. 이제 테스트를 알려진 시작 경로에 배치하는 허용된 fixture가 있으며, 에이전트가 새 기능에 도달하는 유일한 방법은 UI를 클릭하는 것입니다. 이는 테스트 통과를 위해 메뉴 항목을 추가하도록 강제합니다.

결과적으로 이 문제는 다시는 발생하지 않습니다. 더 나은 프롬프트 때문이 아니라, 올바른 행동이 유일한 가능한 행동이기 때문입니다.

핵심 요점

모델의 출력물을 수정하는 것을 중단하십시오. 대신 올바른 출력이 최소 저항 경로가 되도록 환경에 제약을 가하십시오. 모든 실수는 다음 실수를 설계적으로 제거할 기회입니다.