ToonCrafter是一个开源的研究项目，专注于使用预训练的图像到视频扩散先验来插值两张卡通图像。该项目旨在积极影响AI驱动的视频生成领域，为用户提供创造视频的自由，但要求用户遵守当地法律并负责任地使用。

该产品提供了一种新颖的框架，用于平滑跳切，特别是在对话视频中。它利用视频中主体的外观，通过 DensePose 关键点和面部标志驱动的中级表示来融合其他源帧中的信息。为了实现运动，它在切割周围的端帧之间插值关键点和标志。然后使用图像转换网络从关键点和源帧合成像素。由于关键点可能包含错误，因此提出了一种跨模态注意机制，以选择和为每个关键点挑选最合适的源。通过利用这种中级表示，我们的方法可以比强视频插值基准获得更强的结果。我们在对话视频的各种跳切上展示了我们的方法，例如切除填充词、暂停，甚至随机切割。我们的实验表明，即使在对话头部旋转或剧烈移动的挑战性情况下，我们也可以实现无缝过渡。

MCVD是一种用于视频生成、预测和插值的通用模型，使用基于分数的扩散损失函数生成新颖的帧，通过将高斯噪声注入当前帧并对过去和/或未来帧进行条件去噪，通过随机屏蔽过去和/或未来帧进行训练，实现无条件生成、未来预测、过去重建和插值四种情况的处理。该模型使用2D卷积U-Net，通过串联或时空自适应归一化对过去和未来帧进行条件处理，产生高质量和多样化的视频样本，使用1-4个GPU进行训练，能够扩展到更多通道。MCVD是一种简单的非递归2D卷积架构，能够生成任意长度的视频样本，具有SOTA的结果。