Markdown как протокол для агентного пользовательского интерфейса с потоковым выполнением

Разработчик создал прототип, исследующий, как объединить генеративный UI с выполнением кода для AI-агентов, используя Markdown в качестве унифицированного протокола. Система потоково передаёт текст, исполняемый код и данные в одном ответе, причём код выполняется инкрементально по мере поступления.

Протокол: Markdown с тремя типами блоков

Подход использует стандартный синтаксис Markdown, который LLM уже понимают, избегая необходимости обучать новым форматам. Он определяет три типа блоков:

• Текстовые блоки: Простое форматирование Markdown, которое потоково передаётся пользователю
• Блоки кода: ```tsx agent.run выполняет TypeScript/JSX код на сервере в постоянном контексте
• Блоки данных: ```json agent.data => "id" потоково передаёт JSON данные в UI-компоненты

Эти блоки могут чередоваться в любом порядке в рамках одного ответа. Парсер обрабатывает их инкрементально по мере поступления токенов от LLM.

Потоковое выполнение

Код выполняется построчно по мере генерации LLM, не дожидаясь закрытия всего блока кода. Это позволяет начинать API-вызовы, рендерить UI и выявлять ошибки, пока LLM ещё отправляет токены. Разработчик создал bun-streaming-exec для обработки этого, используя vm.Script с кастомной обёрткой, поскольку потоковое выполнение не является стандартным примитивом среды выполнения.

Агентный UI с примитивом mount()

Система использует React для генерации UI, поскольку LLM имеют обширный опыт работы с React-компонентами и JSX. Основной примитив — mount():

mount({
  ui: () => <Card>Привет от агента!</Card>
});

Когда LLM генерирует этот код и сервер выполняет его, mount() сериализует React-компонент и отправляет его клиенту для рендеринга в интерфейсе чата.

Паттерны потока данных

Прототип реализует четыре различных паттерна для перемещения данных:

1. Клиент → Сервер (формы): Агент может ожидать ввода пользователя через формы
2. Сервер → Клиент (потоковые данные): Блоки данных потоково передают JSON напрямую в смонтированные UI
3. Сервер → LLM (console.log): Вывод console.log и исключения возвращаются в LLM как новый ход
4. LLM → Сервер → Клиент (полный цикл): Полные циклы, где LLM генерирует код, который получает данные и рендерит UI с этими данными

Обратная связь

Система использует console.log как механизм для общения агента с самим собой. Когда LLM генерирует Markdown с блоками кода, текст потоково передаётся пользователю, а код выполняется инкрементально. Любой вывод console.* или исключения возвращаются в LLM как новый ход. Если вывода или исключений нет, система ждёт нового запроса пользователя.

Это позволяет агенту реагировать на собственное выполнение, например, проверять количество сообщений или приостанавливаться для ожидания ввода пользователя перед продолжением.