Arquitetura de Compilador Determinístico para Fluxos de Trabalho de LLM Multi-Etapas Apresenta Fortes Resultados em Benchmarks

Compilação Determinística para Fluxos de Trabalho de LLM

Um desenvolvedor vem experimentando com uma arquitetura de compilação determinística para fluxos de trabalho estruturados de LLM. Em vez de permitir que o modelo planeje e execute tudo de forma autoregressiva, o sistema compila um grafo de fluxo de trabalho antecipadamente usando registros de nós tipados, contratos de parâmetros e validação estática.

O objetivo é evitar o acúmulo de erros que geralmente aparece em cadeias de múltiplos passos mais profundas. Essa abordagem representa uma mudança da execução puramente autoregressiva para um sistema de fluxo de trabalho mais estruturado e pré-compilado.

Resultados dos Benchmarks

O desenvolvedor executou benchmarks em profundidades de fluxo de trabalho de 3 a 12+ nós e comparou com o prompt de linha de base usando GPT-4.1 e Claude Sonnet 4.6:

• Fluxos de trabalho de 3-5 nós: Compilador: 1.00, linha de base GPT-4.1: 0.76, Claude Sonnet 4.6: 0.60
• 5-8 nós: Compilador: 1.00, GPT-4.1: 0.72, Claude: 0.46
• 8-10 nós: Compilador: 0.88, GPT-4.1: 0.68, Claude: 0.54
• 10+ nós: Compilador: 0.96, GPT-4.1: 0.76, Claude: 0.72

A arquitetura do compilador manteve desempenho perfeito até 8 nós, mostrando apenas degradação menor em 8-10 nós antes de se recuperar para desempenho quase perfeito em 10+ nós. Em contraste, tanto o GPT-4.1 quanto o Claude mostraram degradação de desempenho consistente conforme a profundidade do fluxo de trabalho aumentava.

Status do Projeto

O artigo será publicado no arXiv em breve, mas a página do projeto foi publicada antecipadamente para quem se interessa pela abordagem ou quer criticar a avaliação. A página do projeto está disponível em: https://prnvh.github.io/compiler.html

Essa abordagem pode ser particularmente útil para desenvolvedores construindo fluxos de trabalho de IA complexos e de múltiplos passos, onde o acúmulo de erros nas abordagens autoregressivas tradicionais se torna problemático. O modelo de compilação determinística oferece comportamento mais previsível e potencialmente melhor tratamento de erros em cadeias complexas.