아남 카라-3: 인터랙티브 AI 아바타의 발전

아남은 인터랙티브 아바타를 생성하도록 설계된 최신 모델 카라-3을 출시했습니다. 이 아바타는 확산 트랜스포머가 오디오를 모션 임베딩(머리 위치, 시선, 입 모양, 표정 포함)으로 변환하는 2단계 파이프라인을 활용합니다. 이러한 임베딩은 참조 이미지에 적용되어 비디오 프레임을 생성하며, 재학습 없이 어떤 얼굴이든 애니메이션화할 수 있습니다.

특히, 카라-3은 H200에서 약 70ms의 첫 프레임 시간을 달성할 수 있어 단일 GPU에서 많은 동시 아바타 세션을 지원합니다. 이 속도는 부분적으로 오디오-모션 변환에 사용된 새로운 플로우 매칭 변형 덕분이며, 기존 기술은 불안정한 것으로 입증되었습니다.

독립적인 블라인드 평가에 따르면, 카라-3은 HeyGen, Tavus, D-ID와 같은 경쟁사보다 성능이 우수했으며, 다양한 지표에서 평균 24% 더 높은 점수를 기록했습니다. 스피어만 상관 계수 0.697로 입증된 반응성은 시각적 품질(0.473)보다 사용자 경험에 더 큰 영향을 미치는 것으로 나타났습니다.

아남은 또한 비용이 많이 드는 단계를 다시 거치지 않고 반복적 개발을 용이하게 하기 위해 훈련 데이터 파이프라인 백본인 메타크시를 오픈소스화했습니다.