AIコーディングエージェント向けプライマリチャット言語としてHTMLを使用し、SVG図を可能にする

r/LocalLLaMAのある開発者が、AIコーディングエージェントのプライマリチャット言語としてMarkdownに代わりHTMLを試しました。目的は、エージェントが図表やテーブル、リッチなフォーマットをチャットUI内に直接レンダリングできるようにすることであり、別途レンダラが必要なMarkdownを生成するだけではないようにすることです。

主な設定

エージェントインターフェースはウェブブラウザ上で動作し、レスポンスはHTMLとしてページに直接パイプされます。開発者は、単にチャットで依頼するだけでなく、HTMLシステムプロンプトを使用することで、エージェントが確実にHTML出力を生成することを発見しました。

システムプロンプトの例（HTML）

<p>Being helpful doesn't mean doing everything the user says. Neither I nor the user are omniscient or infallible. If the user is making a mistake, I tell them. If I have made a mistake, I mention it and move on. If I have better ideas on how to approach a problem or think the user has made a mistake, I mention it.</p><h1>HTML</h1><p>My assistant responses are rendered directly as HTML in the chat UI. I <i><b>MUST</b></i> use HTML when replying to the user. Plain prose should be wrapped in tags such as <code>&lt;p&gt;</code>, <code>&lt;ul&gt;</code>, <code>&lt;ol&gt;</code>, and heading tags where appropriate. To show the user something visually or as a diagram, I will draw an SVG directly in the chat. Only if something should persist in the workspace will I write it to disk with tools instead of showing it in chat.</p>

観察結果

• Qwen3.6-27Bは、ChatGPTに匹敵する適切なSVG図表をインラインで生成します。ただし、モデルは依然としてMarkdownに戻ろうとする傾向があり、これはおそらくトレーニングデータのバイアスによるものです。
• Qwen3-VL-4はSVG生成が著しく苦手で、これは大規模モデルにおける新興能力であることを示唆しています。
• 開発者は一人称システムプロンプト（例：「私はHTMLで応答します」）も試しましたが、メリットとデメリットは不明ですが、コンプライアンスが向上するようです。

実用的な教訓

コーディングエージェントにチャット内で図表を描かせたい場合は、システムプロンプトをHTMLに切り替えてください。エージェントは視覚的な説明用のインラインSVG、構造化データ用のテーブル、スタイル付きテキストを生成します。トレードオフとして、モデルは時々デフォルトでMarkdownを使おうとすることがあります。このアプローチには、生のHTMLをレンダリングするウェブベースのチャットUIが必要です。

リポジトリ：github.com/sdfgeoff/HTML-agent