简介

VideoReTalking是一个新的系统，可以根据输入的音频编辑真实世界的说话头部视频的面部，产生高质量的唇形同步输出视频，即使情感不同。该系统将此目标分解为三个连续的任务：（1）使用表情编辑网络生成带有规范表情的面部视频；（2）音频驱动的唇形同步；（3）用于提高照片逼真度的面部增强。给定一个说话头部视频，我们首先使用表情编辑网络根据相同的表情模板修改每个帧的表情，从而得到具有规范表情的视频。然后将该视频与给定的音频一起输入到唇形同步网络中，生成唇形同步视频。最后，我们通过一个身份感知的面部增强网络和后处理来提高合成面部的照片逼真度。我们对所有三个步骤使用基于学习的方法，所有模块都可以在顺序管道中处理，无需任何用户干预。

截图

产品特色