Anam Cara-3 : Avancées dans les avatars IA interactifs

Anam a publié son dernier modèle, cara-3, conçu pour créer des avatars interactifs. L'avatar utilise un pipeline en deux étapes où un transformateur de diffusion convertit l'audio en embeddings de mouvement (incluant la position de la tête, le regard des yeux, la forme des lèvres et l'expression). Ces embeddings sont ensuite appliqués à une image de référence pour générer des trames vidéo, permettant d'animer n'importe quel visage sans nécessiter de réentraînement.

Notamment, Cara-3 peut atteindre un temps jusqu'à la première trame d'environ 70 ms sur un H200, ce qui permet de nombreuses sessions d'avatar simultanées sur un seul GPU. Cette vitesse est en partie due à la variante novatrice de correspondance de flux utilisée pour la transformation audio-mouvement, les techniques conventionnelles s'étant avérées instables.

Une évaluation indépendante en aveugle a montré que Cara-3 surpassait des concurrents comme HeyGen, Tavus et D-ID, obtenant un score 24 % plus élevé en moyenne sur diverses métriques. La réactivité, mise en évidence par un coefficient de corrélation de Spearman de 0,697, s'avère avoir plus d'impact sur l'expérience utilisateur que la qualité visuelle (0,473).

Anam a également rendu open source le backbone de son pipeline de données d'entraînement, Metaxy, pour faciliter le développement itératif sans reprendre des étapes coûteuses.