阿里和港大提出的MimicBrush可以通过对参考图模仿进行零样本图像编辑。将一张图片的某一部分融合到领一张图片上去。用在电商商品展示上或者单纯的图片编辑和内容迁移很有用。从官方演示来看效果也很好。

MimicBrush，它会随机选择视频剪辑中的两帧，遮盖其中一帧的某些区域，并学习使用另一帧的信息恢复这些被遮盖的区域。通过MimicBrush这种方式，模型基于扩散先验发展而来，能够自监督地捕捉不同图像之间的语义对应关系。

MimicBrush 产生的编辑结果多种多样，用户只需在源图像中指定要编辑的区域（即白色蒙版），并提供一个野生参考图来说明编辑后该区域的效果。模型会自动捕获它们之间的语义对应关系，并在一次执行中完成编辑。

项目主页：

论文阅读

MimicBrush：使用参考模仿进行零样本图像编辑

摘要

图像编辑是一项实用而又具有挑战性的任务，因为用户的需求多种多样，其中最困难的部分之一是准确描述编辑后的图像应该是什么样子。在这项工作中，我们提出了一种新的编辑形式，称为模仿编辑，以帮助用户更方便地发挥创造力。

具体来说，为了编辑感兴趣的图像区域，用户可以自由地直接从一些自然参考（例如，一些在线遇到的相关图片）中汲取灵感，而不必处理参考和源之间的契合。这样的设计要求系统自动找出对参考的期望以执行编辑。为此，我们提出了一个生成训练框架，称为 MimicBrush，它从视频剪辑中随机选择两帧，屏蔽一帧的某些区域，并学习使用另一帧的信息恢复被屏蔽的区域。这样，我们的模型（从扩散先验发展而来）能够以自监督的方式捕捉单独图像之间的语义对应关系。

我们通过实验证明了我们的方法在各种测试用例下的有效性以及它相对于现有替代方案的优越性。我们还构建了一个基准以促进进一步的研究。

方法

MimicBrush 的训练过程。

首先，我们从视频序列中随机采样两帧作为参考和源图像。然后对源图像进行遮罩处理并通过数据增强进行增强。之后，我们将源图像的噪声图像潜伏层、遮罩层、背景潜伏层和深度潜伏层输入到模拟 U-Net 中。参考图像也经过增强并发送到参考 U-Net。对双 U-Net 进行训练以恢复源图像的遮罩区域。参考 U-Net 的注意键和值与模拟 U-Net 连接起来，以协助合成遮罩区域。

实验

本地区域编辑

这里是引用

纹理转移

后处理细化

结论

我们提出了一种简单交互的图像编辑新形式，称为模仿编辑。在我们的设置时，用户只需要在源图像上标记编辑区域并提供参考包含所需视觉元素的图像。MimicBrush自动找到相应的参考区域完成源图像。

为了实现模仿编辑，我们充分利用了这些优势的一致性和变异性，并设计了一个自监督的训练管道，使用一帧完成另一帧的遮罩区域。MimicBrush演示令人印象深刻性能的各种编辑任务，并支持广泛的应用程序。

通过探索，我们构建了一个综合评价模仿编辑的基准。这项工作是期望为社会带来新的灵感，探索更先进的影像技术生成和编辑。

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。