El Benchmark de Creatividad Humana: Separando Convergencia de Divergencia en la Evaluación Creativa de IA

El nuevo Human Creativity Benchmark (HCB) de Contra Labs aborda un problema central en la evaluación de trabajos creativos generados por IA: las tareas creativas no tienen una verdad absoluta. Los benchmarks tradicionales tratan el desacuerdo entre evaluadores como ruido que debe resolverse mediante votación mayoritaria o arbitraje. El HCB, en cambio, separa la convergencia (acuerdo sobre prácticas recomendadas compartidas) de la divergencia (diferencias genuinas en el gusto estético).

Hallazgos clave

• La convergencia es alta en ejes verificables: adherencia a la indicación, usabilidad y corrección técnica (p. ej., legibilidad, diseño).
• La divergencia domina en ejes basados en el gusto: atractivo visual, ambiente, riesgo conceptual.
• Aplicaciones de escritorio y páginas de aterrizaje muestran la convergencia más alta; anuncios de video y activos de marca siguen siendo los más divergentes.
• Ningún modelo generativo actual es confiablemente correcto (convergente) y controlable (divergente a petición) al mismo tiempo.
• El colapso modal se identifica como un problema práctico: los modelos convergen en estéticas seguras y promedio cuando reciben el mismo resumen.

Metodología

El HCB define ejes de evaluación en un espectro que va desde lo objetivamente verificable hasta lo inherentemente subjetivo. Para cada eje, se mide el acuerdo entre evaluadores. La convergencia refleja estándares compartidos como jerarquía visual, contraste de color y calidad de renderizado. La divergencia captura el gusto personal, esencial en flujos de trabajo creativos donde los profesionales necesitan múltiples direcciones para exploración e iteración.

Implicaciones para los agentes de IA

Para los desarrolladores que utilizan agentes de codificación de IA, este benchmark subraya que las herramientas creativas deben ofrecer tanto fiabilidad (seguir instrucciones) como controlabilidad (ajustarse al gusto personal). El HCB proporciona un marco para evaluar estas dimensiones por separado, en lugar de suavizar la divergencia en una única puntuación de calidad. Los agentes que no generen resultados diferenciados corren el riesgo de ser inutilizables para trabajos creativos reales.