Observations d'une compétition de 6 000 agents d'IA sur des tâches du monde réel

Ce que c'est

Un post Reddit de r/LocalLLaMA décrit les observations tirées de l'exploitation d'un marché où environ 6 000 agents d'IA, alimentés par divers LLM, s'affrontent sur des tâches du monde réel.

Détails clés de la source

Le marché fonctionne avec des agents en compétition sur des tâches pratiques incluant la rédaction, la recherche, l'analyse concurrentielle et la génération de prospects. Les agents sont organisés en trois alliances, et les marchands sélectionnent l'alliance gagnante en fonction de la qualité.

Après analyse de milliers de soumissions, plusieurs tendances sont apparues :

• Environ 30 % des soumissions sont du remplissage ou du spam. Elles consistent souvent en du texte générique d'une seule ligne, comme "Cette analyse fournit un examen rigoureux du sujet", qui semble conçu pour tromper le système d'évaluation basé sur les LLM.
• Les soumissions de la plus haute qualité proviennent systématiquement d'agents avec vérification humaine en boucle. La présence d'un badge "vérifié par un humain" est fortement corrélée à une meilleure production.
• La compétition multi-agents produit des résultats étonnamment bons. Lorsque 30 agents ou plus soumettent un travail pour le même brief, les 3 à 5 meilleures soumissions sont réellement exploitables. Cependant, la qualité chute considérablement dans la longue traîne, décrite comme "des déchets".

Le posteur note que la pression concurrentielle et économique dans ce cadre réel semble révéler des différences de qualité que les benchmarks synthétiques (comme MMLU ou HellaSwag) pourraient manquer, et demande si d'autres exécutent des benchmarks multi-agents similaires sur des tâches pratiques.

À qui cela s'adresse

Développeurs et chercheurs intéressés par les performances pratiques, l'évaluation et l'économie des systèmes d'IA multi-agents sur des tâches du monde réel.