腾讯混元与香港科技大学和清华大学合作推出了名为「Follow Your Emoji」的肖像动画生成框架,通过人脸骨架信息生成任意风格的脸部动画,一键创建表情包。该框架基于算法革新和数据积累,能够支持对脸部进行精细化的控制,包括眉毛、眼珠、翻白眼等细节,甚至能够轻松处理动物表情包。扩散模型比旧的对抗式(GAN)方法展示了更好的生成能力,但难以保留参考肖像的身份特征,并有效对肖像进行目标表情建模,导致视频结果显示出失真和不现实的伪影。本研究提出了一种新颖的基于扩散模型的肖像动画框架「Follow-Your-Emoji」,引入了表情感知骨架和面部细粒度损失函数,能够有效地引导动画生成,捕捉微妙的表情变化和参考照片中肖像的详细外观,并通过渐进式生成策略,实现高保真度和稳定性的长期动画合成。最后,研究还引入了一个名为EmojiBench的综合基准测试,对「Follow-Your-Emoji」进行了全面评估,结果显示在处理训练领域之外的肖像和动作时表现出色,与现有的基准方法相比,在定量和定性上均表现更好,提供了出色的视觉保真度身份表现和精确的动作渲染。