Forschung zur Konsistenz von KI-Agenten: Wichtige Erkenntnisse und praktische Implikationen

Forschungsergebnisse zur Agenten-Konsistenz

Eine auf r/ClaudeAI geteilte Forschung untersucht ein kritisches Problem in der KI-Agentenentwicklung: Selbstwidersprüche, bei denen Agenten bei identischen Aufgaben unterschiedliche Antworten geben. Die Studie umfasste 3.000 Experimente mit konsistenten Eingabeaufforderungen und Eingaben über drei Hauptmodelle.

Wichtige Leistungskennzahlen

• Konsistente Agenten erreichten 80–92 % Genauigkeit
• Inkonsistente Agenten fielen auf 25–60 % Genauigkeit ab
• Das entspricht einer Leistungslücke von 32–55 Punkten

Abweichungsmuster

Die Forschung identifizierte spezifische Muster bei Agenten-Inkonsistenzen:

• 69 % der Abweichungen treten beim allerersten Werkzeugaufruf auf
• Anfängliche Suchanfragen sind der kritische Fehlerpunkt
• Korrekte erste Aufrufe führen zu nachgelagerten Übereinstimmungen
• Falsche erste Aufrufe verursachen, dass die Durchläufe auseinanderlaufen

Praktische Diagnosesignale

Pfadlänge dient als günstiges Diagnosesignal: Agenten, die bei einer 3-Schritt-Aufgabe 8 Schritte benötigen, sind normalerweise verloren, anstatt gründlich zu sein.

Sofortige Testempfehlung

Die praktische Schlussfolgerung ist einfach: Führen Sie Ihren Agenten 3–5 Mal parallel aus. Wenn die Verläufe übereinstimmen, können Sie der Ausgabe vertrauen. Wenn sie auseinanderlaufen, setzen Sie diese Implementierung nicht ein.

Forschungsressourcen

Das vollständige Papier ist verfügbar unter https://arxiv.org/abs/2602.11619 mit einer detaillierten Ausarbeitung unter https://amcortex.substack.com/p/run-your-agent-10-times-you-wont.