腾讯混元与香港科技大学和清华大学合作推出了名为「Follow Your Emoji」的肖像动画生成框架，通过人脸骨架信息生成任意风格的脸部动画，一键创建表情包。该框架基于算法革新和数据积累，能够支持对脸部进行精细化的控制，包括眉毛、眼珠、翻白眼等细节，甚至能够轻松处理动物表情包。扩散模型比旧的对抗式（GAN）方法展示了更好的生成能力，但难以保留参考肖像的身份特征，并有效对肖像进行目标表情建模，导致视频结果显示出失真和不现实的伪影。本研究提出了一种新颖的基于扩散模型的肖像动画框架「Follow-Your-Emoji」，引入了表情感知骨架和面部细粒度损失函数，能够有效地引导动画生成，捕捉微妙的表情变化和参考照片中肖像的详细外观，并通过渐进式生成策略，实现高保真度和稳定性的长期动画合成。最后，研究还引入了一个名为EmojiBench的综合基准测试，对「Follow-Your-Emoji」进行了全面评估，结果显示在处理训练领域之外的肖像和动作时表现出色，与现有的基准方法相比，在定量和定性上均表现更好，提供了出色的视觉保真度身份表现和精确的动作渲染。
