Anam Cara-3: Fortschritte in interaktiven KI-Avataren

Anam hat sein neuestes Modell, cara-3, veröffentlicht, das zur Erstellung interaktiver Avatare entwickelt wurde. Der Avatar nutzt eine zweistufige Pipeline, bei der ein Diffusions-Transformator Audio in Bewegungs-Embeddings umwandelt (einschließlich Kopfposition, Augenblick, Lippenform und Ausdruck). Diese Embeddings werden dann auf ein Referenzbild angewendet, um Video-Frames zu generieren, sodass jede Gesichtsanimation ohne erneutes Training möglich ist.

Besonders bemerkenswert ist, dass Cara-3 eine Zeit bis zum ersten Frame von etwa 70 ms auf einem H200 erreichen kann, der viele gleichzeitige Avatar-Sitzungen auf einer einzigen GPU unterstützt. Diese Geschwindigkeit ist teilweise auf die neuartige Flussanpassungsvariante zurückzuführen, die für die Audio-zu-Bewegung-Transformation verwendet wird, da herkömmliche Techniken sich als instabil erwiesen.

Eine unabhängige Blindbewertung zeigte, dass Cara-3 Konkurrenten wie HeyGen, Tavus und D-ID übertroffen hat, mit einem durchschnittlichen Vorsprung von 24 % bei verschiedenen Metriken. Die Reaktionsfähigkeit, belegt durch einen Spearman-Korrelationskoeffizienten von 0,697, hat größeren Einfluss auf die Benutzererfahrung als die visuelle Qualität (0,473).

Anam hat auch ihre Trainingsdatenpipeline, Metaxy, als Open Source verfügbar gemacht, um die iterative Entwicklung zu erleichtern, ohne kostspielige Schritte wiederholen zu müssen.