프로그래밍적 스캐폴딩 없이 11개의 멀티 에이전트 소프트웨어 빌드에서 얻은 실용적 결과

다중 에이전트 시스템 실험의 주요 기술적 발견

프로그래밍적 스캐폴딩 없이 11개의 자율 다중 에이전트 소프트웨어 빌드를 2억 9500만 토큰, 98개 에이전트 세션, 610만 줄의 작업자 출력을 기반으로 분석한 결과, AI 코딩 에이전트를 사용하는 개발자에게 실용적인 통찰을 제공합니다.

범위 강제와 오케스트레이션

범위 강제는 프롬프트가 아닌 기계적으로 해결됩니다: 프롬프트 기반 접근법은 컴파일러 압력 하에서 0/20 실패했으며, 기계적 접근법(에이전트가 모든 것을 편집하게 하고 범위를 벗어난 파일은 git revert 사용)은 20/20 성공했습니다. 핵심 통찰: 모델이 경계를 존중하도록 요청하지 말고, 사후에 강제하세요.

오케스트레이터 비용은 메모리 제한적입니다: 입력 비용의 약 95%는 대화 기록 재읽기에 사용됩니다. '상태 유지 프리미엄'은 배송된 코드를 전혀 작성하지 않는 최첨단 오케스트레이터가 전체 작업자 집단만큼 비용이 들 수 있음을 의미합니다. 최적화는 더 저렴한 추론이 아닌, 더 적은 턴과 재수집을 목표로 해야 합니다.

조정 및 확장 역학

모델은 독립적으로 조정을 발견하지 않습니다: 전체 도구 접근 권한을 가진 베어-프롬프트 Opus는 위임하지 않았고, 사양을 작성하지 않았으며, 병렬 디스패치를 발견하지 않았습니다—모든 것을 단독으로 구축했습니다. 조정 템플릿이 실제 작업을 수행합니다.

깊이는 품질과 다르게 확장됩니다: 평면 디스패치는 10개 이하 도메인에서 처리량, 토큰 효율성, 경과 시간 측면에서 계층 구조를 능가합니다. 10개 도메인 이상에서는 계층 구조가 평면 디스패치가 달성할 수 없는 병렬 처리를 가능하게 합니다.

컨텍스트 제한이 적용되기 전까지 단독 작업이 조정을 능가합니다: 단독 처리량은 약 325 LOC/분이며 프로젝트 크기에 불변입니다. 피라미드 처리량은 작업자 수에 따라 확장됩니다. 약 30K LOC 미만에서는 위임은 순수 오버헤드입니다.

작업자 성능 및 타입 시스템

작업자 모델 성능이 처리량을 주도합니다: 동일한 아키텍처, 동일한 사양으로 세 작업자 모델이 17,761 LOC 대 6,001 대 1,818을 생성했습니다—9.8배 격차입니다. 아키텍처는 병렬 처리량을 가능하게 하고, 작업자 모델이 이를 결정합니다.

타입 계약은 공유 어휘를 제공합니다: 테스트된 모든 규모(6–36 모듈)에서 계약 없이도 통합이 성공하며, 읽기 전용 제약 조건 하에서도 마찬가지입니다. 그러나 계약 없이 병렬 작업자는 구조적으로 호환되지 않는 타입을 자동으로 생성하며, 아무것도 상호 참조하지 않기 때문에 컴파일만 됩니다. 984줄의 단일 계약이 10개의 독립 도메인에 걸쳐 유지되었습니다.

타입 계약은 대규모에서 조정 오버헤드를 제거합니다: 통제된 확장 테스트(1–20 작업자, 고정 사양)에서 50개 도메인 빌드에 걸쳐 통합 오류가 없었습니다. 10명 작업자에서 최적점: 2.05배 경과 시간 가속화. 20명 작업자에서는 직렬 단계 의존성이 병렬 처리 이득을 상쇄합니다(암달의 직렬 분율 ~44%).

컨텍스트 및 위임 패턴

컨텍스트 프라이밍은 작동하며, 형식은 중요하지 않습니다: 설계 컨텍스트 없을 때 0% 공식 전이, 있을 때 100%(조건당 N=10). 정적 참조 문서는 합성 부팅 대화와 동일한 전이율을 생성합니다.

위임 압축은 본질적입니다: 각 위임 계층은 손실 요약기 역할을 합니다. 정량적 요구사항('80개 무기')은 사라지고, 구조적 요구사항(타입 인터페이스)은 남습니다. 해결책: 작업자는 압축된 프롬프트 체인에 의존하기보다 파일 시스템에서 전체 사양을 읽어야 합니다.

좋은 요약으로 압축 복구는 강력합니다: 11개 압축 이벤트에서 작업 재발 없음. 모델은 예상 상태를 명시한 후 디스크를 읽어 확인합니다.

실패 모드 및 해결책

• 추상화 반사: 오케스트레이션 대신 오케스트레이터를 구축함—프롬프트에 명시
• 자기 모델 오류: 거짓 능력 주장—사용 가능한 도구를 명시적으로 문서화
• 정체성 역설: 이중 역할 유지 불가—별도 모델 인스턴스 사용
• 위임 압축: 열거적 사양과 파일 시스템 접근 사용