Proposition de routage d'inférence adaptative pour l'efficacité des requêtes d'IA

Ce que c'est

Une proposition technique soumise à l'équipe Produit et Ingénierie d'Anthropic en avril 2026 pour acheminer automatiquement les requêtes d'IA vers les niveaux de modèles appropriés en fonction d'une évaluation de la complexité avant que des calculs coûteux ne commencent.

Le problème

Actuellement, chaque requête envoyée à Claude — des questions simples comme "combien de temps dois-je faire bouillir un œuf" aux invites techniques de 2 000 mots — est acheminée par défaut vers un modèle à pleine capacité. Le système n'évalue pas la complexité avant d'engager des ressources de calcul, ce qui est inefficace à grande échelle. L'inférence d'IA est le composant à la croissance la plus rapide de la consommation énergétique des centres de données, projetée pour atteindre 12 % de l'électricité américaine d'ici 2028.

La solution proposée : Processus en cinq étapes

• Étape 1 — Compter : Mesurer la longueur de la requête en caractères, le nombre de phrases, et la présence de pièces jointes ou d'instructions en plusieurs parties
• Étape 2 — Trier : Acheminer vers un niveau de modèle basé sur le score de complexité. Les phrases courtes et uniques sont par défaut dirigées vers des modèles légers ; les invites en plusieurs paragraphes avec contexte sont acheminées vers des modèles plus performants
• Étape 3 — Lire : Le modèle assigné traite la requête normalement
• Étape 4 — Répondre : La réponse est renvoyée à l'utilisateur
• Étape 5 — Escalader : Si l'utilisateur signale son insatisfaction (réagit, demande d'approfondir, reformule), le système monte automatiquement d'un niveau vers un modèle plus performant pour la suite

Comment fonctionne le score de complexité

Le système utilise un score de pré-acheminement à cinq facteurs : nombre de caractères, nombre de phrases, présence de pièces jointes, densité des mots interrogatifs, et profondeur de la conversation précédente. Cela permettrait de trier correctement un pourcentage substantiel de requêtes sans aucune inférence de modèle. La longueur en caractères fonctionne comme un signal de premier ordre car la plupart des requêtes simples sont courtes et la plupart des requêtes complexes sont longues.

Conception de l'expérience utilisateur

Les utilisateurs ne devraient pas voir ce système ni être invités à choisir un modèle. L'interface reste identique, et l'acheminement est invisible. Si une réponse est insuffisante, les utilisateurs demandent plus et reçoivent plus. Cela supprime la friction de demander à des utilisateurs non techniques de choisir entre des niveaux de modèles comme Haiku, Sonnet et Opus.

Impact et justification

À l'échelle d'Anthropic, même une réduction de 20 à 30 % de la puissance de calcul moyenne par requête représente une réduction significative des coûts d'inférence et de la charge énergétique. La proposition positionne Anthropic en avance sur les défis réglementaires et de relations publiques concernant la consommation énergétique des centres de données, qui devient un enjeu législatif dans plusieurs juridictions.