Arquitectura de Compilador Determinista para Flujos de Trabajo de LLM de Múltiples Pasos Muestra Fuertes Resultados en Puntos de Referencia

Compilación Determinista para Flujos de Trabajo de LLM

Un desarrollador ha estado experimentando con una arquitectura de compilación determinista para flujos de trabajo estructurados de LLM. En lugar de permitir que el modelo planifique y ejecute todo de manera autoregresiva, el sistema compila un grafo de flujo de trabajo con antelación utilizando registros de nodos tipados, contratos de parámetros y validación estática.

El objetivo es prevenir la acumulación de errores que suele aparecer en cadenas de múltiples pasos más profundas. Este enfoque representa un cambio desde una ejecución puramente autoregresiva hacia un sistema de flujo de trabajo más estructurado y precompilado.

Resultados de los Puntos de Referencia

El desarrollador ejecutó puntos de referencia en profundidades de flujo de trabajo desde 3 hasta 12+ nodos y los comparó con el enfoque de línea base usando GPT-4.1 y Claude Sonnet 4.6:

• Flujos de trabajo de 3-5 nodos: Compilador: 1.00, línea base GPT-4.1: 0.76, Claude Sonnet 4.6: 0.60
• 5-8 nodos: Compilador: 1.00, GPT-4.1: 0.72, Claude: 0.46
• 8-10 nodos: Compilador: 0.88, GPT-4.1: 0.68, Claude: 0.54
• 10+ nodos: Compilador: 0.96, GPT-4.1: 0.76, Claude: 0.72

La arquitectura del compilador mantuvo un rendimiento perfecto hasta 8 nodos, mostrando solo una degradación menor en 8-10 nodos antes de recuperarse a un rendimiento casi perfecto en 10+ nodos. En contraste, tanto GPT-4.1 como Claude mostraron una degradación consistente del rendimiento a medida que aumentaba la profundidad del flujo de trabajo.

Estado del Proyecto

El artículo se publicará pronto en arXiv, pero la página del proyecto se ha publicado antes de tiempo para aquellos interesados en el enfoque o que deseen criticar la evaluación. La página del proyecto está disponible en: https://prnvh.github.io/compiler.html

Este enfoque podría ser particularmente útil para desarrolladores que construyen flujos de trabajo de IA complejos y de múltiples pasos, donde la acumulación de errores en enfoques autoregresivos tradicionales se vuelve problemática. El modelo de compilación determinista proporciona un comportamiento más predecible y potencialmente un mejor manejo de errores en cadenas complejas.