Der Human Creativity Benchmark: Trennung von Konvergenz und Divergenz in der KI-Kreativitätsbewertung

Der neue Human Creativity Benchmark (HCB) von Contra Labs befasst sich mit einem Kernproblem bei der Bewertung KI-generierter kreativer Arbeit: Kreative Aufgaben haben keine objektive Wahrheit. Traditionelle Benchmarks betrachten Uneinigkeit der Bewerter als Rauschen, das durch Mehrheitsentscheidungen oder Schiedsverfahren behoben werden muss. Der HCB trennt stattdessen Konvergenz (Übereinstimmung bei teilbaren Best Practices) von Divergenz (echte Unterschiede im ästhetischen Geschmack).

Wichtigste Erkenntnisse

• Konvergenz ist hoch bei überprüfbaren Achsen: Einhaltung der Aufgabenstellung, Benutzerfreundlichkeit und technische Korrektheit (z. B. Lesbarkeit, Layout).
• Divergenz dominiert bei geschmacksgesteuerten Achsen: Visuelle Anziehungskraft, Stimmung, konzeptionelles Risiko.
• Desktop-Apps und Landingpages zeigen die höchste Konvergenz; Videoanzeigen und Markenassets bleiben am divergentesten.
• Kein aktuelles generatives Modell ist zuverlässig sowohl korrekt (konvergent) als auch steuerbar (divergent auf Anfrage).
• Mode Collapse wird als praktisches Problem identifiziert: Modelle konvergieren auf sichere, durchschnittliche Ästhetik, wenn sie die gleiche Aufgabenstellung erhalten.

Methodik

Der HCB definiert Bewertungsachsen auf einem Spektrum von objektiv überprüfbar bis inhärent subjektiv. Für jede Achse wird die Übereinstimmung der Bewerter gemessen. Konvergenz spiegelt gemeinsame Standards wie visuelle Hierarchie, Farbkontrast und Darstellungsqualität wider. Divergenz erfasst persönlichen Geschmack – essentiell für kreative Arbeitsabläufe, bei denen Fachleute mehrere Richtungen für Erkundung und Iteration benötigen.

Auswirkungen auf KI-Agenten

Für Entwickler, die KI-Codierungsagenten verwenden, unterstreicht dieser Benchmark, dass kreative Tools sowohl Zuverlässigkeit (Befolgen von Anweisungen) als auch Steuerbarkeit (Anpassung an den persönlichen Geschmack) bieten müssen. Der HCB bietet ein Framework, um diese Dimensionen getrennt zu bewerten, anstatt Divergenz in eine einzige Qualitätsbewertung einzuebnen. Agenten, die differenzierte Ausgaben nicht unterstützen, riskieren, für echte kreative Arbeit unbrauchbar zu sein.