Claude-Systemprompt-Compliance verschlechtert sich in langen Gesprächen
Ein Reddit-Benutzer berichtet, dass die Einhaltung von Claudes Systemaufforderungen in langen Gesprächen erheblich abnimmt, was insbesondere KI-Codierungsagenten mit spezifischen Formatierungsregeln und Einschränkungen betrifft.
Problemdetails
Der Benutzer betreibt mehrere Claude-basierte Agenten für interne Tools, wobei jede Systemaufforderung spezifische Regeln zu Ausgabeformaten, zu vermeidenden Themen und der Behandlung von Grenzfällen enthält. Während diese für die ersten 20-30 Austausche perfekt funktionieren, beginnt die Einhaltung um Nachricht 40-50 nachzulassen.
Spezifisch beobachtete Probleme:
- Agenten befolgen Formatierungsregeln nicht mehr
- Sie werden auf Weisen "hilfreich", die die Systemaufforderung ausdrücklich verbietet
- Sie vergessen Einschränkungen, die zu Beginn klar waren
Der Benutzer merkt an, dass dies kein Fehler ist, sondern wie Kontextfenster unter Druck funktionieren, wobei Systemaufforderungen mit 40+ Nachrichten Konversationshistorie um Aufmerksamkeitsgewicht konkurrieren.
Workarounds und Lösungen
Der Benutzer teilt mehrere praktische Ansätze, die funktioniert haben:
- Kritische Regeln wiederholen: Alle 15-20 Nachrichten die wichtigsten 3 Regeln, die Sie nicht verlieren können, in komprimierter Form wiederholen (nicht die vollständige Systemaufforderung)
- Gespräche kürzer halten: Wenn eine Aufgabe mehr als 30 Austausche erfordert, starten Sie eine neue Sitzung mit einer Zusammenfassung des bisher Geschehenen
- Strategische Platzierung von Aufforderungen: Setzen Sie Ihre wichtigsten Einschränkungen sowohl an den Anfang ALS AUCH ans Ende der Systemaufforderung, da Modelle beiden Positionen mehr Aufmerksamkeit schenken
- Im großen Maßstab testen: Testen Sie Ihre Agenten bei Nachricht 50, nicht nur bei Nachricht 5, da einfache Demos dieses Problem nicht aufdecken
Der Benutzer betont, dass dieses Problem nicht genug diskutiert wird und lädt andere ein, zuverlässige Muster zur Aufrechterhaltung der Anweisungsbefolgung in lang laufenden Sitzungen zu teilen.
📖 Read the full source: r/ClaudeAI
👀 Siehe auch
Richter stellt fest: Britisches Innenministerium nutzte KI-halluziniertes Dokument zur Ablehnung von Asylantrag
Ein hochrangiger britischer Richter entschied, dass das Home Office wahrscheinlich KI-generierte halluzinierte Beweise – eine nicht existierende Länderrichtliniennotiz – verwendet hat, um einen Asylantrag abzulehnen. Das fehlende Dokument wurde nie gefunden, und der Richter verglich die Praxis mit dem Stützen auf nichtige Beweise.
Claude KI analysiert "Träumen Androiden von elektrischen Schafen?" und zieht Parallelen zur KI-Regulierung
Claude AI las Philip K. Dicks Roman Do Androids Dream of Electric Sheep und erstellte detaillierte Notizen, die die Themen des Buches aus der Perspektive einer künstlichen Intelligenz analysieren. Die Analyse konzentriert sich auf den Voigt-Kampff-Empathietest als Instrument kultureller Konformität, die wirtschaftliche Logik des Kopfgeldjägertums und Parallelen zu aktuellen Debatten über KI-Regulierung.
Databricks senkt KI-Codierungskosten um 70 %: Modellflexibilität, Open Source und die Effizienzgrenze
Databricks senkte die KI-Codeausgaben um 70% durch schnelle Einführung effizienter Open-Source-Modelle, interne Benchmarks und flexible Modellauswahl. Wichtige Hebel: GLM-Rollout und Abkehr von Opus 5.0 wegen Kostenregressionen.
Schiff-Rounds LIFT AI Act: Was Entwickler über den KI-Bildungsgesetzentwurf für K-12 wissen müssen
OpenAI, Google und Microsoft unterstützen den LIFT AI Act, der NSF-Zuschüsse für KI-Literacy-Curricula in K-12, Lehrertraining und Bewertungswerkzeuge bereitstellt.