ローカルLLMパイプラインにおけるマルチステップエージェントワークのコンテキストドリフト問題

LLMパイプライン2ヶ月間のテストから得られた実用的な知見

開発者が最近、2ヶ月間にわたって実行した多段階の求職自動化パイプラインの結果を共有しました。このパイプラインには、リサーチ、履歴書作成、カバーレター生成が含まれていました。テストはLlama-3.3-70b-versatileを使用し、Groqの無料枠とローカルのOllamaの両方で、数週間にわたる夜間実行で実施されました。

ローカルモデルが劣勢になった点

ローカルモデルはプライバシー、コスト、セッションごとのクォータを気にする必要がない点で優れていましたが、エージェント的なワークフローでは重大な問題に直面しました：

• 多段階パイプラインでの文脈のずれ：ローカルモデルはステップ2を成功裏に完了しますが、ステップ4に到達するまでにステップ1で確立された内容を忘れてしまうことがありました。開発者は、一貫した文脈の維持が重要な5〜6ノードのパイプライン全体でこの現象を観察しました。
• クラウドモデルとの比較：Groqの無料枠で使用したClaudeは、この文脈のずれの問題をほとんど示さず、連続したタスク間で文脈を維持する性能が優れていることを示唆しました。

無料枠の隠れた落とし穴

開発者は別の実用的な問題も指摘しました：無料枠のモデルは警告なしに静かに廃止されることがあります。特定のモデルでパイプラインを設定し、数週間放置した後、戻ってみると設定の半分が壊れ、誤った出力が得られることがあります。

開発者は、これはベンチマーク投稿ではなく実際の経験であり、文脈のずれに関する部分については間違っている可能性も認めつつ、現在の多段階エージェント作業で実際に機能しているものは何かと問いかけています。