Multi-Agenten-Debatte-Ansatz verbessert die Denkqualität von LLMs

Ein Entwickler auf r/LocalLLaMA teilte Ergebnisse aus Experimenten mit Multi-Agenten-Debattenansätzen zur Verbesserung des LLM-Denkens. Anstatt des üblichen Einzelmodell-Workflows von Eingabeaufforderung zu Antwort verwendet diese Methode mehrere KI-Agenten, die auf dieselbe Frage antworten und sich gegenseitig kritisieren, bevor eine endgültige Antwort generiert wird.

Wie der Ansatz funktioniert

Das Experiment wurde mit CyrcloAI durchgeführt, einem Tool, das den Prozess strukturiert, indem verschiedene Agenten spezifische Rollen übernehmen:

• Analyst: Liefert die erste Antwort auf die Eingabeaufforderung
• Kritiker: Überprüft und kritisiert die Antworten anderer Agenten
• Synthetisierer: Fasst die stärksten Punkte zu einer endgültigen Antwort zusammen

Jeder Agent antwortet auf die Eingabeaufforderung und reagiert auf die Antworten der anderen, bevor das System eine endgültige Ausgabe erzeugt. Besonders der Kritiker-Agent wurde dafür gelobt, logische Sprünge oder schwache Annahmen in den ersten Antworten aufzuzeigen, wobei diese Korrekturen in die endgültige Antwort einflossen.

Ergebnisse und Beobachtungen

Der Entwickler berichtete, dass die Antworten im Vergleich zu Einzelmodell-Ansätzen "spürbar strukturierter und durchdachter" wirkten. Die Methode wurde als ähnlich zu Selbstreflexions-Eingabeaufforderungen oder iterativen Denkschleifen beschrieben, jedoch verteilt auf separate Agenten statt wiederholter Durchläufe durch ein einzelnes Modell.

Abwägungen und praktische Überlegungen

Der Ansatz geht mit erhöhter Latenz und Token-Nutzung einher, was Fragen zur Praktikabilität für alltägliche Workflows aufwirft. Die Verbesserung der Denkqualität war jedoch so signifikant, dass der Entwickler untersucht, wie dies lokal mit Llama-Varianten nachgebildet werden könnte.

Der Entwickler schlug vor, dass dies möglicherweise mit Rollen-Eingabeaufforderungen und einer einfachen Kritikschleife vor einem abschließenden Syntheseschritt implementiert werden könnte, und sucht nach Community-Input zu ähnlichen Experimenten mit lokalen Modellen.