MaPa是一种创新的方法，能够根据文本描述为3D网格生成材质。该技术通过创建分段的程序化材质图来表示外观，支持高质量渲染，并在编辑上提供了显著的灵活性。利用预训练的2D扩散模型，MaPa在不需要大量配对数据的情况下，架起了文本描述和材质图之间的桥梁。该技术通过分解形状为多个部分，并设计了控制段的扩散模型来合成与网格部分对齐的2D图像，进而初始化材质图的参数，并通过可微分渲染模块进行微调，以产生符合文本描述的材质。广泛的实验表明，MaPa在逼真度、分辨率和可编辑性方面优于现有技术。

StableIdentity是一个基于大型预训练文本到图像模型的最新进展，能够实现高质量的以人为中心的生成。与现有方法不同的是，StableIdentity能够确保稳定的身份保留和灵活的可编辑性，即使在训练过程中只使用了每个主体的一张面部图像。它利用面部编码器和身份先验对输入的面部进行编码，然后将面部表示投射到一个可编辑的先验空间中。通过结合身份先验和可编辑性先验，学习到的身份可以在各种上下文中注入。此外，StableIdentity还设计了一个掩蔽的两阶段扩散损失，以提升对输入面部的像素级感知，并保持生成的多样性。大量实验证明，StableIdentity的性能优于以往的定制方法。学习到的身份还可以灵活地与ControlNet等现成模块结合使用。值得注意的是，我们是首个能够直接将从单张图像学习到的身份注入到视频/3D生成中而无需微调的方法。我们相信，StableIdentity是统一图像、视频和3D定制生成模型的重要一步。