Adaptive Inferenz-Routing-Vorschlag für KI-Abfrageeffizienz

Was das ist

Ein technischer Vorschlag, der im April 2026 dem Produkt- und Engineering-Team von Anthropic vorgelegt wurde, um KI-Anfragen automatisch basierend auf einer Komplexitätsbewertung an geeignete Modellstufen weiterzuleiten, bevor teure Berechnungen beginnen.

Das Problem

Derzeit wird jede an Claude gesendete Anfrage – von einfachen Fragen wie „Wie lange koche ich ein Ei?“ bis hin zu 2000 Wörter langen technischen Prompts – standardmäßig an ein Modell mit voller Kapazität weitergeleitet. Das System bewertet die Komplexität nicht, bevor es Rechenressourcen zuteilt, was in großem Maßstab ineffizient ist. KI-Inferenz ist die am schnellsten wachsende Komponente des Energieverbrauchs in Rechenzentren und soll bis 2028 12 % des US-Stromverbrauchs ausmachen.

Die vorgeschlagene Lösung: Fünfstufiger Prozess

• Schritt 1 – Zählen: Abfragelänge in Zeichen, Satzanzahl und Vorhandensein von Anhängen oder mehrteiligen Anweisungen messen
• Schritt 2 – Sortieren: Weiterleitung an eine Modellstufe basierend auf dem Komplexitäts-Score. Einzelne kurze Sätze werden standardmäßig an schlanke Modelle geleitet; mehrteilige Prompts mit Kontext gehen an leistungsfähigere Modelle
• Schritt 3 – Lesen: Das zugewiesene Modell verarbeitet die Anfrage normal
• Schritt 4 – Antworten: Die Antwort wird an den Benutzer zurückgegeben
• Schritt 5 – Eskalieren: Wenn der Benutzer Unzufriedenheit signalisiert (zurückweist, um Vertiefung bittet, neu formuliert), stuft das System automatisch für die Folgeanfrage auf ein leistungsfähigeres Modell hoch

Wie das Komplexitäts-Scoring funktioniert

Das System verwendet einen fünf-Faktoren-Vorab-Score: Zeichenanzahl, Satzanzahl, Vorhandensein von Anhängen, Dichte von Fragewörtern und Tiefe vorheriger Gespräche. Dies würde einen erheblichen Prozentsatz der Anfragen korrekt sortieren, ohne dass überhaupt eine Modellinferenz stattfindet. Die Zeichenlänge dient als Signal erster Ordnung, weil die meisten einfachen Anfragen kurz und die meisten komplexen Anfragen lang sind.

Benutzererlebnis-Design

Benutzer sollten dieses System nicht sehen oder aufgefordert werden, ein Modell auszuwählen. Die Oberfläche bleibt identisch, und die Weiterleitung ist unsichtbar. Wenn eine Antwort unzureichend ist, fragen Benutzer nach mehr und erhalten mehr. Dies beseitigt die Hürde, nicht-technische Benutzer zur Auswahl zwischen Modellstufen wie Haiku, Sonnet und Opus zu bitten.

Auswirkungen und Begründung

Im Maßstab von Anthropic bedeutet selbst eine 20–30 %ige Reduzierung der durchschnittlichen Rechenleistung pro Anfrage eine bedeutende Verringerung der Inferenzkosten und Energielast. Der Vorschlag positioniert Anthropic vor regulatorischen und PR-Herausforderungen im Zusammenhang mit dem Energieverbrauch von Rechenzentren, der in mehreren Rechtsgebieten zu einem gesetzgeberischen Thema wird.