Anam Cara-3: Avanços em Avatares de IA Interativos

A Anam lançou seu modelo mais recente, cara-3, projetado para criar avatares interativos. O avatar utiliza um pipeline de dois estágios onde um transformador de difusão converte áudio em embeddings de movimento (incluindo posição da cabeça, direção do olhar, formato dos lábios e expressão). Esses embeddings são então aplicados a uma imagem de referência para gerar quadros de vídeo, permitindo a animação de qualquer rosto sem necessidade de retreinamento.

Vale destacar que o Cara-3 pode alcançar um tempo para o primeiro quadro de aproximadamente 70ms em um H200, o que suporta muitas sessões simultâneas de avatar em uma única GPU. Essa velocidade se deve em parte à nova variante de correspondência de fluxo usada para transformação de áudio em movimento, já que técnicas convencionais se mostraram instáveis.

Uma avaliação cega independente mostrou que o Cara-3 superou concorrentes como HeyGen, Tavus e D-ID, marcando 24% mais alto em média em várias métricas. A responsividade, evidenciada por um coeficiente de correlação de Spearman de 0,697, demonstra impactar mais a experiência do usuário do que a qualidade visual (0,473).

A Anam também disponibilizou como código aberto a base de seu pipeline de dados de treinamento, Metaxy, para facilitar o desenvolvimento iterativo sem repetir etapas custosas.