简介

Emu Edit是一款多任务图像编辑模型，通过识别和生成任务完成精准图像编辑，并在此领域内取得了最新的技术突破。Emu Edit的架构针对多任务学习进行了优化，并在众多任务上进行训练，包括基于区域的编辑、自由形式的编辑以及检测和分割等计算机视觉任务。除此之外，为了更有效地处理这多种任务，我们引入了学习到的任务嵌入概念，用于指导生成过程以正确执行编辑指令。我们的模型经过多任务训练和使用学习到的任务嵌入都能显著提升准确执行编辑指令的能力。 Emu Edit还支持对未见任务的快速适应，通过任务倒转实现少样本学习。在这个过程中，我们保持模型权重不变，仅更新任务嵌入来适应新任务。我们的实验证明，Emu Edit能够迅速适应新任务，如超分辨率、轮廓检测等。这使得在标注样本有限或计算预算有限的情况下，使用Emu Edit进行任务倒转特别有优势。 为了支持对基于指令的图像编辑模型的严格且有根据的评估，我们还收集并公开发布了一个新的基准数据集，其中包含七种不同的图像编辑任务：背景修改（background）、综合图像变化（global）、风格修改（style）、对象移除（remove）、对象添加（add）、局部修改（local）以及颜色/纹理修改（texture）。此外，为了与Emu Edit进行正确比较，我们还分享了Emu Edit在数据集上的生成结果。 Emu Edit 2023 Meta保留所有版权

截图

产品特色