Aperçu comparatif de l'inférence rapide des LLM par Anthropic et OpenAI

Anthropic et OpenAI ont récemment introduit des fonctionnalités de 'mode rapide' pour améliorer la vitesse des inférences de leurs modèles de langage. Ces modes offrent des taux de tokens par seconde considérablement améliorés lors de l'interaction avec leurs modèles de codage, mais diffèrent grandement dans leur approche et leurs capacités.

Détails clés

Le mode rapide d'Anthropic délivre jusqu'à 2,5x plus de tokens par seconde, passant de 65 tokens d'Opus 4.6 à environ 170. Cette amélioration est obtenue en priorisant l'inférence à faible taille de lot. Le compromis implique de payer plus cher (six fois le coût) pour des réponses plus rapides, car la taille réduite du lot permet un traitement des données plus rapide, semblable à un système de bus qui part immédiatement sans attendre d'être plein, bien que ce mode fonctionne toujours sur le véritable modèle Opus 4.6.

D'un autre côté, OpenAI présente une approche nettement différente, atteignant plus de 1000 tokens par seconde, soit 15x le taux précédent de 65 tokens par seconde de GPT-5.3-Codex. Cela est accompli via leur nouveau modèle, GPT-5.3-Codex-Spark, conçu spécifiquement pour la vitesse en utilisant des puces Cerebras. Ces puces, distinguées par leur grande taille (70 pouces carrés contre un pouce carré pour une puce H100 typique), fournissent un calcul à ultra-faible latence en logeant des modèles entiers dans leur mémoire interne substantielle.

Bien que la configuration d'OpenAI offre l'avantage substantiel de vitesse de fonctionner entièrement en mémoire avec des retards de flux de données minimisés, elle le fait avec un compromis sur la capacité du modèle. GPT-5.3-Codex-Spark, malgré son efficacité en vitesse, est moins capable que sa contrepartie standard, en particulier pour gérer des tâches plus complexes ou des appels d'outils.

Pour qui c'est

Cette comparaison est particulièrement pertinente pour les développeurs optimisant les performances des systèmes d'IA et évalue des aspects cruciaux pour ceux qui considèrent la vitesse par rapport aux capacités.