Problème de dérive contextuelle dans le pipeline LLM local pour les flux de travail agentiques multi-étapes

Résultats pratiques de deux mois de tests de pipeline LLM

Un développeur a récemment partagé les résultats de l'exécution d'un pipeline d'automatisation de recherche d'emploi en plusieurs étapes pendant deux mois. Le pipeline impliquait la recherche, la rédaction de CV et la génération de lettres de motivation. Les tests ont été menés en utilisant Llama-3.3-70b-versatile sur le niveau gratuit de Groq et en local avec Ollama lors d'exécutions nocturnes sur plusieurs semaines.

Où les modèles locaux ont perdu du terrain

Si les modèles locaux l'emportaient sur la confidentialité, le coût et l'absence de quotas par session, ils rencontraient des problèmes significatifs dans les workflows agentiques :

• Dérive contextuelle dans les pipelines multi-étapes : Les modèles locaux réussissaient l'étape 2 mais oubliaient ce qui avait été établi à l'étape 1 au moment d'atteindre l'étape 4. Le développeur a observé ce phénomène dans des pipelines de 5 à 6 nœuds où maintenir un contexte cohérent était crucial.
• Comparaison avec les modèles cloud : Claude sur le niveau gratuit de Groq ne présentait pas ce problème de dérive contextuelle de manière aussi marquée, suggérant de meilleures performances pour maintenir le contexte à travers les tâches séquentielles.

Piège caché des niveaux gratuits

Le développeur a souligné un autre problème pratique : les modèles gratuits sont retirés discrètement sans avertissement. Vous pouvez configurer un pipeline avec un modèle spécifique, partir quelques semaines, et revenir pour constater que la moitié de votre configuration est cassée avec des sorties incorrectes.

Le développeur a précisé qu'il ne s'agissait pas d'un post de benchmark mais d'une expérience réelle, et qu'il était sincèrement ouvert à l'idée de se tromper sur la partie dérive contextuelle tout en demandant ce qui fonctionne réellement pour le travail agentique multi-étapes actuellement.