多段階LLMワークフローのための決定論的コンパイラアーキテクチャが強力なベンチマーク結果を示す

LLMワークフローのための決定論的コンパイル

ある開発者が、構造化されたLLMワークフローのための決定論的コンパイルアーキテクチャを実験しています。モデルにすべてを自己回帰的に計画・実行させる代わりに、このシステムは型付きノードレジストリ、パラメータ契約、静的検証を使用して、ワークフローグラフを事前にコンパイルします。

このアプローチの目的は、通常より深い多段階チェーンで現れるエラーの蓄積を防ぐことです。これは、純粋な自己回帰的実行から、より構造化された事前コンパイル型のワークフローシステムへの移行を意味します。

ベンチマーク結果

開発者は、3〜12以上のノード深度にわたるワークフローでベンチマークを実行し、GPT-4.1およびClaude Sonnet 4.6を用いたベースラインのプロンプティングと比較しました：

• 3-5ノードのワークフロー： コンパイラ: 1.00, GPT-4.1ベースライン: 0.76, Claude Sonnet 4.6: 0.60
• 5-8ノード： コンパイラ: 1.00, GPT-4.1: 0.72, Claude: 0.46
• 8-10ノード： コンパイラ: 0.88, GPT-4.1: 0.68, Claude: 0.54
• 10以上のノード： コンパイラ: 0.96, GPT-4.1: 0.76, Claude: 0.72

コンパイラアーキテクチャは、8ノードまでは完全な性能を維持し、8-10ノードでわずかな低下を示した後、10以上のノードではほぼ完全な性能に回復しました。対照的に、GPT-4.1とClaudeの両方は、ワークフローの深度が増すにつれて一貫して性能が低下しました。

プロジェクトの状況

論文は近日中にarXivに投稿される予定ですが、このアプローチに関心がある方や評価を批判的に検討したい方のために、プロジェクトページが早期に公開されています。プロジェクトページはこちらでご覧いただけます：https://prnvh.github.io/compiler.html

このアプローチは、従来の自己回帰的アプローチではエラー蓄積が問題となる、複雑な多段階AIワークフローを構築する開発者にとって特に有用である可能性があります。決定論的コンパイルモデルは、より予測可能な動作を提供し、複雑なチェーンにおけるエラー処理を改善する可能性があります。