约束衰减：LLM代理为何在结构化后端代码中失败

Francesco Dente、Dario Satriani、Paolo Papottiによる新しい論文（arXiv:2605.06445）は、制約減衰を導入しています—LLMエージェントのパフォーマンスが、バックエンドコード生成における構造的要件の蓄積に伴って測定可能に低下する現象です。著者らは、固定されたAPI契約を使用して構造的複雑さを分離し、8つのWebフレームワークにわたる80のグリーンフィールドタスクと20の機能実装タスクでエージェントを評価します。

主な発見

• 有能な設定は平均で30ポイント低下：ベースライン（緩い仕様）から完全に指定されたタスクまで、アサーション合格率が低下。弱い設定はほぼゼロの合格率に。
• フレームワーク感度は極端：エージェントはFlaskのような最小限で明示的なフレームワークでは成功するが、FastAPIやDjangoのような規約に重きを置いた環境では大幅に悪化。
• 主なエラークラス：データ層の欠陥—誤ったクエリ構成とORMランタイム違反が失敗の大部分を占める。

なぜ重要なのか

既存のベンチマークは機能的に正しいが構造的に恣意的な解決策を評価します。本番コードはアーキテクチャパターン、データベーススキーマ、ORM規約への厳格な準拠を要求します。この論文は、機能的要件と構造的要件の同時充足は、コーディングエージェントにとって未だに未解決の課題であることを示しています—これは本番でAIエージェントを使用する開発者なら誰でも認識する現実です。

バックエンド作業にLLMエージェントを使用している場合、制約減衰に注意してください：制約（データモデル、マイグレーション、ミドルウェアなど）を追加するにつれて、エージェントの出力品質が劇的に低下する可能性があります。データは、構造的ルールを明示的に指定し、エンドツーエンドの動作テストとともに静的検証ツールを実行することを示唆しています。