사례 연구: 다중 에이전트 소프트웨어 빌드를 위한 프로그래밍적 스캐폴딩 대신 LLM 프롬프트 사용

시스템 개요 및 결과

Claude Opus 오케스트레이터와 Codex 작업자 에이전트로 구성된 다중 에이전트 시스템이 인간의 코드 개입 없이 10개의 완전 자율 소프트웨어 빌드를 완료했습니다. 이 시스템은 50,000줄 이상의 코드와 수백 개의 통과 테스트를 포함한 10개의 TypeScript 브라우저 게임을 생성했습니다.

프롬티어 LLM인 오케스트레이터는 프롬프트와 CLI 접근 권한을 부여받아 목표를 분해하고, 병렬 작업자를 배치하며, 결과를 분석하고, 오류를 분류하며, 통합을 조정했습니다. 프로그램화된 스캐폴드, 상태 머신 또는 작업 라우팅 인프라는 사용되지 않았습니다. 오케스트레이션 로직은 프로그램이 아닌 프롬프트입니다.

사례 연구의 주요 발견점

• 프롬프트를 통한 범위 강제는 컴파일러 압력 하에서 완전히 실패함(0/20), 반면 사후 파일 되돌리기를 통한 기계적 강제는 사소하게 효과적임(20/20)
• 통합 에이전트가 무제한 편집 접근 권한을 가질 때, 테스트된 모든 규모(6-36 모듈)에서 통합을 위한 타입 계약이 필요하지 않음
• 오케스트레이터는 11번의 컨텍스트 압축 이벤트 동안 완벽한 작업 연속성을 유지함
• 비용 분석은 상태 유지 프리미엄을 드러냄: 약 95%의 캐시 적중률로, 오케스트레이터 처리의 대부분은 이전 대화 컨텍스트를 재읽는 것임
• 단순 프롬프트 제거 실험은 모델이 독립적으로 조정 패턴을 발견한다는 강력한 주장을 반증하지만, 약 30K LOC 미만에서는 단독 실행이 조정된 빌드를 능가함을 보여줌

시스템 아키텍처 및 데이터

이 시스템은 트리 아키텍처를 사용합니다: 인간이 Claude Opus 오케스트레이터에 목표를 제공하면, 오케스트레이터는 작업을 병렬 작업으로 분해하여 Codex 작업자에게 배치합니다. 작업자는 완전히 자율적으로 운영되며 파일 시스템을 통해서만 통신합니다.

완전한 데이터셋은 다음을 포함합니다:

• 10개의 Claude 오케스트레이터 세션 (52 MB)
• 88개의 Codex 작업자 세션 (89 MB)
• 62개의 작업자 stdout 로그 (186.7 MB, 610만 줄)
• 전체 프롬프트 텍스트가 포함된 55개의 목표 파일
• 1개의 TUI 이벤트 로그 (21 MB, 173,000줄)

총 코퍼스: 88개의 Codex 작업자 세션과 10개의 Claude 오케스트레이터 세션에 걸쳐 2억 9,500만 토큰.

시스템 진화

이 시스템은 약 6개월에 걸쳐 다섯 단계를 거쳐 진화했습니다. 운영자는 이중 LLM 채팅 창 간의 수동 복사-붙여넣기로 시작하여, 파일 시스템 접근을 위한 터미널 CLI 도구로 발전한 후, 메모리와 라우팅이 포함된 프로그램화된 스캐폴드를 구축했습니다. 스캐폴드는 작동했지만 취약했습니다—모든 예외 사례마다 새로운 코드가 필요했습니다. CLI 접근 권한이 있는 단일 Claude 세션이 이를 능가했습니다.

결과적인 시스템인 orch-minimal은 62,792줄의 지원 코드를 유지하지만, 핵심 오케스트레이션 로직은 프로그램이 아닌 프롬프트입니다.