Problema de Deriva de Contexto en Tuberías de LLM Locales en Flujos de Trabajo Agentes de Múltiples Pasos

Hallazgos Prácticos de Dos Meses de Pruebas de Canalización de LLM

Un desarrollador compartió recientemente resultados de ejecutar una canalización de automatización de búsqueda de empleo de múltiples pasos durante dos meses. La canalización involucró investigación, redacción de CV y generación de cartas de presentación. Las pruebas se realizaron usando Llama-3.3-70b-versatile tanto en el nivel gratuito de Groq como en Ollama local durante ejecuciones nocturnas durante varias semanas.

Donde los Modelos Locales Perdieron Terreno

Si bien los modelos locales ganaron en privacidad, costo y no preocuparse por cuotas por sesión, enfrentaron problemas significativos en flujos de trabajo agentes:

• Deriva de Contexto en Canalizaciones de Múltiples Pasos: Los modelos locales completaban exitosamente el paso 2 pero olvidaban lo establecido en el paso 1 para cuando llegaban al paso 4. El desarrollador observó esto en canalizaciones de 5 a 6 nodos donde mantener un contexto coherente era crucial.
• Comparación con Modelos en la Nube: Claude en el nivel gratuito de Groq no exhibió este problema de deriva de contexto casi tanto, sugiriendo un mejor rendimiento en mantener el contexto a través de tareas secuenciales.

Desventaja Oculta del Nivel Gratuito

El desarrollador destacó otro problema práctico: los modelos de nivel gratuito se retiran silenciosamente sin previo aviso. Puedes configurar una canalización con un modelo específico, alejarte por unas semanas y regresar para encontrar la mitad de tu configuración rota con salidas incorrectas.

El desarrollador señaló que esto no era una publicación de referencia sino experiencia real, y están genuinamente abiertos a estar equivocados sobre la parte de deriva de contexto mientras preguntan qué está funcionando realmente para el trabajo agentes de múltiples pasos actualmente.