人間の創造性ベンチマーク：AI創造性評価における収束と発散の分離

Contra Labsの新しいHuman Creativity Benchmark (HCB)は、AIが生成したクリエイティブ作品の評価における核心的な問題に取り組みます。それは、クリエイティブなタスクには正解が存在しないということです。従来のベンチマークでは、評価者の意見の相違をノイズとみなし、多数決や調停によって解決していました。HCBは代わりに、収束（共有可能なベストプラクティスへの合意）と発散（美的嗜好の本質的な違い）を分離します。

主な発見

• 検証可能な軸（プロンプトへの忠実さ、ユーザビリティ、技術的正確性（例：可読性、レイアウト））では収束が高い。
• 嗜好に左右される軸（視覚的魅力、ムード、概念的リスク）では発散が支配的。
• デスクトップアプリとランディングページは最も収束が高く、広告動画とブランドアセットは最も発散が大きい。
• 現時点で、正確（収束的）かつ操作可能（要求に応じて発散的）な生成モデルは存在しない。
• モード崩壊が実用的な問題として特定された。モデルは同じブリーフを与えられると、安全で平均的な美学に収束する。

方法論

HCBは、評価軸を客観的に検証可能なものから本質的に主観的なものまでのスペクトラムで定義します。各軸について、評価者間の一致度が測定されます。収束は、視覚的階層、色彩コントラスト、レンダリング品質などの共有基準を反映します。発散は個人の嗜好を捉えます。これは、専門家が探索と反復のために複数の方向性を必要とするクリエイティブワークフローにおいて不可欠です。

AIエージェントへの影響

AIコーディングエージェントを使用する開発者にとって、このベンチマークは、クリエイティブツールが信頼性（指示に従うこと）と操作性（個人の好みに調整すること）の両方を提供しなければならないことを強調しています。HCBは、これらの次元を単一の品質スコアに平滑化するのではなく、別々に評価するフレームワークを提供します。差別化された出力をサポートしないエージェントは、実際のクリエイティブ作業に使用できないリスクがあります。