제약 조건 약화: 대형 언어 모델(LLM) 에이전트가 구조화된 백엔드 코드에서 실패하는 이유

Francesco Dente, Dario Satriani, Paolo Papotti의 새 논문(arXiv:2605.06445)은 제약 붕괴를 소개합니다. 이는 백엔드 코드 생성 시 구조적 요구사항이 누적됨에 따라 LLM 에이전트 성능이 측정 가능하게 저하되는 현상입니다. 저자들은 8개의 웹 프레임워크에 걸쳐 80개의 신규 태스크와 20개의 기능 구현 태스크에서 에이전트를 평가했으며, 고정 API 계약을 사용하여 구조적 복잡성을 분리했습니다.

주요 발견

• 성능이 좋은 설정은 평균 30점 하락: 기준(느슨한 사양)에서 완전히 지정된 태스크로 갈수록 어설션 통과율이 떨어집니다. 약한 설정은 통과율이 거의 0에 가깝습니다.
• 프레임워크 민감도가 매우 높음: Flask와 같이 최소한이고 명시적인 프레임워크에서는 에이전트가 성공하지만, FastAPI나 Django와 같은 규약 중심 환경에서는 훨씬 더 나쁜 성능을 보입니다.
• 주요 오류 유형: 데이터 계층 결함 — 잘못된 쿼리 구성과 ORM 런타임 위반이 대부분의 실패 원인입니다.

중요성

기존 벤치마크는 기능적으로는 정확하지만 구조적으로 임의적인 해결책을 보상합니다. 프로덕션 코드는 아키텍처 패턴, 데이터베이스 스키마, ORM 규칙을 엄격히 따라야 합니다. 이 논문은 기능적 요구사항과 구조적 요구사항을 동시에 만족시키는 것이 코딩 에이전트에게 여전히 해결되지 않은 과제임을 보여줍니다. 이는 프로덕션에서 AI 에이전트를 사용하는 모든 개발자가 인식할 현실입니다.

백엔드 작업에 LLM 에이전트를 사용한다면 제약 붕괴를 주의하세요. 제약(예: 데이터 모델, 마이그레이션, 미들웨어)을 추가할수록 에이전트 출력 품질이 급격히 저하될 수 있습니다. 데이터에 따르면 구조적 규칙을 명시적으로 지정하고 정적 검증기를 엔드투엔드 동작 테스트와 함께 실행하는 것이 좋습니다.