Anam Cara-3: Avances en Avatares Interactivos de IA

Anam ha lanzado su último modelo, cara-3, diseñado para crear avatares interactivos. El avatar utiliza un pipeline de dos etapas donde un transformador de difusión convierte audio en incrustaciones de movimiento (incluyendo la posición de la cabeza, la mirada, la forma de los labios y la expresión). Estas incrustaciones se aplican a una imagen de referencia para generar cuadros de video, permitiendo la animación de cualquier rostro sin necesidad de volver a entrenar.

Notablemente, Cara-3 puede lograr un tiempo hasta el primer cuadro de aproximadamente 70 ms en un H200, que soporta muchas sesiones concurrentes de avatares en una sola GPU. Esta velocidad se debe en parte a la novedosa variante de coincidencia de flujo utilizada para la transformación de audio a movimiento, ya que las técnicas convencionales resultaron inestables.

Una evaluación independiente ciega mostró que Cara-3 supera a competidores como HeyGen, Tavus y D-ID, obteniendo un promedio de 24% más alto en diversas métricas. La capacidad de respuesta, como lo evidencia un coeficiente de correlación de Spearman de 0.697, demuestra tener un impacto en la experiencia del usuario más que la calidad visual (0.473).

Anam también ha abierto su sistema de pipeline de datos de entrenamiento, Metaxy, para facilitar el desarrollo iterativo sin necesidad de repetir pasos costosos.