Architecture de Compilateur Déterministe pour les Flux de Travail LLM Multi-Étapes Présente des Résultats de Référence Solides

Compilation Déterministe pour les Flux de Travail LLM

Un développeur a expérimenté une architecture de compilation déterministe pour les flux de travail LLM structurés. Au lieu de laisser le modèle planifier et exécuter tout de manière autorégressive, le système compile un graphe de flux de travail à l'avance en utilisant des registres de nœuds typés, des contrats de paramètres et une validation statique.

L'objectif est d'empêcher l'accumulation d'erreurs qui apparaît généralement dans les chaînes multi-étapes plus profondes. Cette approche représente un changement par rapport à une exécution purement autorégressive vers un système de flux de travail plus structuré et pré-compilé.

Résultats des Benchmarks

Le développeur a exécuté des benchmarks sur des profondeurs de flux de travail allant de 3 à 12+ nœuds et a comparé avec les approches de base utilisant GPT-4.1 et Claude Sonnet 4.6 :

• Flux de travail de 3-5 nœuds : Compilateur : 1,00, base GPT-4.1 : 0,76, Claude Sonnet 4.6 : 0,60
• 5-8 nœuds : Compilateur : 1,00, GPT-4.1 : 0,72, Claude : 0,46
• 8-10 nœuds : Compilateur : 0,88, GPT-4.1 : 0,68, Claude : 0,54
• 10+ nœuds : Compilateur : 0,96, GPT-4.1 : 0,76, Claude : 0,72

L'architecture du compilateur a maintenu des performances parfaites jusqu'à 8 nœuds, ne montrant qu'une légère dégradation à 8-10 nœuds avant de retrouver des performances quasi parfaites à 10+ nœuds. En revanche, GPT-4.1 et Claude ont tous deux montré une dégradation constante des performances à mesure que la profondeur du flux de travail augmentait.

État du Projet

L'article sera bientôt sur arXiv, mais la page du projet a été publiée en avance pour ceux qui s'intéressent à l'approche ou souhaitent critiquer l'évaluation. La page du projet est disponible à : https://prnvh.github.io/compiler.html

Cette approche pourrait être particulièrement utile pour les développeurs créant des flux de travail IA complexes et multi-étapes où l'accumulation d'erreurs dans les approches autorégressives traditionnelles devient problématique. Le modèle de compilation déterministe offre un comportement plus prévisible et potentiellement une meilleure gestion des erreurs dans les chaînes complexes.