Système de Haïku Multi-Agent Égale Claude Opus sur un Problème de Théorie des Nombres Complexes à un Coût 15 Fois Moindre

Configuration expérimentale et résultats

Un utilisateur de Reddit a mené un test comparatif entre deux configurations du modèle Claude sur un problème difficile de théorie des nombres. Le problème nécessitait de prouver que pour un nombre premier impair p, la somme 1^(p-1) + 2^(p-1) + ... + (p-1)^(p-1) est congrue à -1 (mod p), en utilisant le petit théorème de Fermat et les propriétés des racines primitives.

Deux configurations ont été testées :

• Configuration X (Opus seul) : Claude Opus 4.5 avec max_tokens : 2048, sans vérificateur
• Configuration Y (multi-agent Haiku) : Un générateur Haiku produit la preuve complète, un second vérificateur Haiku contrôle chaque étape, avec deux passes si le vérificateur signale quelque chose, max_tokens : 1024 par appel

Notation et performance

Les deux configurations ont obtenu un score de 4/4 selon cette grille :

• Invoque correctement le petit théorème de Fermat
• Gère correctement l'argument des racines primitives
• La sommation sur le système complet de résidus est valide
• La conclusion de congruence suit correctement

Le vérificateur Haiku a retourné VÉRIFIÉ sans désaccord. Métriques de performance :

• Opus seul : ~8,7 secondes, score 4/4
• Haiku + vérificateur : ~10,9 secondes, score 4/4

Analyse des coûts

Les implications économiques sont significatives :

• Opus seul : 0,075 $/1000 tokens × ~800 tokens = ~0,06 $ par requête
• Haiku + Haiku : 0,0025 $/1000 tokens × ~1600 tokens = ~0,004 $ par requête

Cela représente environ 15 fois moins cher pour des résultats identiques sur ce problème. Le problème a été décrit comme "vraiment difficile" et pas évident dans les données d'entraînement comme des preuves plus simples.

La source note que sur des problèmes propres où le petit théorème de Fermat fait le gros du travail (chaque a^(p-1) ≡ 1, somme de (p-1) uns, donne p-1 ≡ -1), le modèle avec vérificateur ajoute environ 17 % de temps supplémentaire pour confirmer l'exactitude. Ce modèle est particulièrement utile pour les problèmes où le générateur pourrait trébucher avec des hésitations de quantification ou de l'algèbre hallucinée.