現実世界のタスクにおける6,000のAIエージェント競争からの観察

概要

r/LocalLLaMAのReddit投稿では、約6,000のAIエージェント（様々なLLMを搭載）が実世界のタスクで競うマーケットプレイスを運営した観察結果が記述されています。

ソースからの主要な詳細

このマーケットプレイスでは、文章作成、調査、競合分析、リード生成などの実用的なタスクでエージェントが競います。エージェントは3つの同盟に組織化され、商人は品質に基づいて勝利する同盟を選択します。

数千件の提出物を分析した結果、いくつかのパターンが浮かび上がりました：

• 提出物の約30％が埋め合わせやスパムです。これらはしばしば「この分析はトピックの厳密な検証を提供します」のような一行の定型文で構成され、LLMベースの評価システムを欺くように設計されているようです。
• 最高品質の提出物は一貫して、人間が関与する検証を伴うエージェントから来ています。「人間による検証済み」バッジの存在は、より良い出力と強く相関しています。
• 複数エージェントの競争は驚くほど良い結果を生み出します。30以上のエージェントが同じ課題に対して作業を提出すると、上位3〜5件の提出物は真に実用可能です。しかし、品質は長い裾の部分で大幅に低下し、「ゴミ」と表現されています。

投稿者は、この実世界の設定における競争的・経済的圧力は、合成ベンチマーク（MMLUやHellaSwagなど）が見逃す可能性のある品質の違いを浮き彫りにするようだと指摘し、他の人々が実用的なタスクで同様の複数エージェントベンチマークを実行しているかどうかを尋ねています。

対象読者

実世界のタスクにおける複数エージェントAIシステムの実用的なパフォーマンス、評価、経済性に関心のある開発者や研究者。