Lokales LLM-Pipeline-Kontextdriftproblem bei mehrstufigen Agenten-Workflows

Praktische Erkenntnisse aus zwei Monaten LLM-Pipeline-Tests

Ein Entwickler hat kürzlich Ergebnisse aus dem Betrieb einer mehrstufigen Pipeline zur Automatisierung der Jobsuche über zwei Monate geteilt. Die Pipeline umfasste Recherche, Lebenslauf-Erstellung und Anschreiben-Generierung. Die Tests wurden mit Llama-3.3-70b-versatile sowohl auf der kostenlosen Stufe von Groq als auch lokal mit Ollama während abendlicher Läufe über mehrere Wochen durchgeführt.

Wo lokale Modelle an Boden verloren

Während lokale Modelle bei Datenschutz, Kosten und der Sorglosigkeit bezüglich Kontingenten pro Sitzung punkten, hatten sie erhebliche Probleme in agentenbasierten Workflows:

• Kontextdrift in mehrstufigen Pipelines: Lokale Modelle konnten Schritt 2 erfolgreich abschließen, vergaßen aber bis Schritt 4, was in Schritt 1 etabliert wurde. Der Entwickler beobachtete dies über 5 bis 6 Knoten-Pipelines, bei denen die Aufrechterhaltung eines kohärenten Kontexts entscheidend war.
• Vergleich mit Cloud-Modellen: Claude auf der kostenlosen Stufe von Groq zeigte dieses Kontextdrift-Problem bei weitem nicht so stark, was auf eine bessere Leistung bei der Kontexterhaltung über sequenzielle Aufgaben hindeutet.

Versteckte Falle der kostenlosen Stufe

Der Entwickler wies auf ein weiteres praktisches Problem hin: Kostenlose Modelle werden leise und ohne Vorwarnung eingestellt. Man kann eine Pipeline mit einem bestimmten Modell einrichten, sich für ein paar Wochen entfernen und zurückkehren, um die Hälfte der Konfiguration kaputt und mit falschen Ausgaben vorzufinden.

Der Entwickler merkte an, dass dies kein Benchmark-Post war, sondern tatsächliche Erfahrung, und dass er bezüglich des Kontextdrift-Teils durchaus offen dafür ist, falsch zu liegen, während er fragt, was derzeit tatsächlich für mehrstufige agentenbasierte Arbeit funktioniert.