Анам Кара-3: Достижения в области интерактивных ИИ-аватаров

Anam выпустила свою последнюю модель, cara-3, предназначенную для создания интерактивных аватаров. Аватар использует двухступенчатый конвейер, в котором трансформер диффузии преобразует аудио в векторные представления движений (включая положение головы, взгляд, форму губ и выражение). Эти представления затем применяются к эталонному изображению для генерации видеокадров, что позволяет анимировать любое лицо без необходимости повторного обучения.

Примечательно, что Cara-3 может достичь времени до первого кадра примерно 70 мс на H200, что поддерживает множество одновременных сеансов аватара на одном GPU. Эта скорость частично объясняется новым вариантом сопоставления потока, используемым для преобразования аудио в движения, так как традиционные техники оказались нестабильными.

Независимая слепая оценка показала, что Cara-3 превзошла таких конкурентов, как HeyGen, Tavus и D-ID, набрав в среднем на 24% больше по различным метрикам. Отзывчивость, подтвержденная коэффициентом корреляции Спирмена 0.697, показала, что она больше влияет на пользовательский опыт, чем визуальное качество (0.473).

Anam также открыла исходный код своей тренировочной базы данных, Metaxy, чтобы облегчить итеративную разработку без повторного прохождения затратных этапов.