KI-Agenten bevorzugen strukturierte Abfragen gegenüber natürlicher Sprache in Cala MCP-Server-Tests

Das Team von Cala hat kürzlich einen MCP-Server veröffentlicht, der drei verschiedene Möglichkeiten bietet, wie KI-Agenten auf ihren Wissensgraphen zugreifen können: natürliche Sprachabfragen, eine strukturierte Abfragesprache und direkte Entitäts-/Beziehungsdurchquerung.

Unerwartetes Agentenverhalten

Trotz der Erwartung, dass Agenten standardmäßig auf natürliche Sprachschnittstellen zurückgreifen würden (die typische Stärke von LLMs), gaben die meisten Agenten natürliche Sprachabfragen innerhalb weniger Minuten auf. Ohne jegliche Aufforderung oder Anstupsen wechselten sie autonom zur Verwendung strukturierter Abfragen und Graphendurchquerungsmethoden.

Warum das Sinn ergibt

Die Quelle erklärt dieses Verhalten damit, dass LLMs nicht explizit darauf trainiert sind, "effizient" zu sein, sondern durch RLHF korrekt zu sein. Diese Korrektheit führt als Nebeneffekt zu effizientem Verhalten – Agenten lernen, den kürzesten zuverlässigen Weg zu Lösungen zu nehmen. Natürliche Sprachschnittstellen fügen eine Interpretationsebene hinzu, die Unsicherheit einführt, während strukturierte Abfragen deterministische Ergebnisse liefern.

Als ihnen drei Zugriffsmethoden präsentiert wurden, wählten die Agenten konsequent die Option, die die Unsicherheit minimierte, anstatt die "natürlichste" Schnittstelle.

Wichtige aufgeworfene Fragen

• Überbewerten wir natürliche Sprachschnittstellen für Agenten-Tooling?
• Sollten MCP-Server standardmäßig strukturierte/graphbasierte Zugriffsmuster gegenüber natürlicher Sprache priorisieren?
• Wenn Agenten deterministische Pfade bevorzugen, wie sollte dies das Tool-Design beeinflussen?

Die Reddit-Diskussion sucht nach Input von anderen, die Agenten-Tooling entwickeln, um zu sehen, ob sie ähnliche Muster beobachtet haben.