Кейс-стади: Использование промптов LLM вместо программных каркасов для сборки многокомпонентного программного обеспечения

Обзор системы и результаты

Мультиагентная система, состоящая из оркестратора Claude Opus и агентов-исполнителей Codex, завершила 10 полностью автономных сборок программного обеспечения без вмешательства человека в код. Система создала 10 браузерных игр на TypeScript общим объёмом более 50 000 строк кода и сотнями пройденных тестов.

Оркестратор — передовая большая языковая модель с промптом и доступом к CLI — декомпозировал цели, распределял параллельных исполнителей, анализировал результаты, устранял ошибки и координировал интеграцию. Не использовалось никакого программного каркаса, конечного автомата или инфраструктуры маршрутизации задач; логика оркестрации — это промпт, а не программа.

Ключевые выводы из кейс-стади

• Принудительное соблюдение границ через промпты полностью проваливается под давлением компилятора (0/20), в то время как механическое принуждение через последующее восстановление файлов тривиально эффективно (20/20)
• Контракты типов не требуются для интеграции при любом масштабе тестирования (6–36 модулей), когда агент интеграции имеет неограниченный доступ к редактированию
• Оркестратор поддерживал идеальную непрерывность задач при 11 событиях сжатия контекста
• Анализ затрат выявляет премию за состояние: при ~95% попаданий в кэш большая часть обработки оркестратора — это повторное чтение предыдущего контекста беседы
• Абляция с голым промптом опровергает сильное утверждение, что модели самостоятельно обнаруживают паттерны координации, но показывает, что одиночное выполнение превосходит скоординированные сборки ниже ~30K строк кода

Архитектура системы и данные

Система использует древовидную архитектуру: человек предоставляет цели оркестратору Claude Opus, который декомпозирует работу на параллельные задачи, распределяемые между исполнителями Codex. Исполнители работают полностью автономно и взаимодействуют исключительно через файловую систему.

Полный набор данных включает:

• 10 сессий оркестратора Claude (52 МБ)
• 88 сессий исполнителей Codex (89 МБ)
• 62 журнала stdout исполнителей (186,7 МБ, 6,1 млн строк)
• 55 файлов целей с полным текстом промптов
• 1 журнал событий TUI (21 МБ, 173 тыс. строк)

Общий корпус: 295 млн токенов в 88 сессиях исполнителей Codex и 10 сессиях оркестратора Claude.

Эволюция системы

Система эволюционировала через пять фаз за примерно шесть месяцев. Оператор начал с ручного копирования-вставки между двумя окнами чата LLM, перешёл к терминальным CLI-инструментам для доступа к файловой системе, затем создал программный каркас с памятью и маршрутизацией. Каркас работал, но был хрупким — каждый крайний случай требовал нового кода. Одна сессия Claude с доступом к CLI превзошла его.

Получившаяся система, orch-minimal, сохраняет 62 792 строки вспомогательного кода, но основная логика оркестрации — это промпт, а не программа.