Problema de Desvio de Contexto no Pipeline de LLM Local em Fluxos de Trabalho Agentes de Múltiplos Passos

Descobertas Práticas de Dois Meses de Testes de Pipeline de LLM

Um desenvolvedor compartilhou recentemente resultados de dois meses executando um pipeline de automação de busca de emprego em várias etapas. O pipeline envolvia pesquisa, redação de currículo e geração de cartas de apresentação. Os testes foram conduzidos usando Llama-3.3-70b-versatile tanto no nível gratuito do Groq quanto no Ollama local durante execuções noturnas ao longo de várias semanas.

Onde os Modelos Locais Perderam Terreno

Embora os modelos locais tenham vantagem em privacidade, custo e não se preocupar com cotas por sessão, eles enfrentaram problemas significativos em fluxos de trabalho agentivos:

• Deriva de Contexto em Pipelines de Múltiplas Etapas: Os modelos locais completavam com sucesso a etapa 2, mas esqueciam o que foi estabelecido na etapa 1 quando chegavam à etapa 4. O desenvolvedor observou isso em pipelines de 5 a 6 nós, onde manter o contexto coerente era crucial.
• Comparação com Modelos em Nuvem: O Claude no nível gratuito do Groq não apresentou esse problema de deriva de contexto na mesma medida, sugerindo melhor desempenho na manutenção do contexto entre tarefas sequenciais.

Armadilha Oculto do Nível Gratuito

O desenvolvedor destacou outro problema prático: os modelos do nível gratuito são descontinuados silenciosamente sem aviso. Você pode configurar um pipeline com um modelo específico, afastar-se por algumas semanas e retornar para encontrar metade de sua configuração quebrada com saídas incorretas.

O desenvolvedor observou que isso não era uma postagem de benchmark, mas experiência real, e eles estão genuinamente abertos a estarem errados sobre a parte da deriva de contexto, enquanto perguntam o que realmente está funcionando para trabalhos agentivos de múltiplas etapas atualmente.