P图新神器：用'Drag Your GAN'点击几下，就能改变世界
作者：FancyPig | 发布时间： | 更新时间：
相关阅读
视频讲解
📸🚀 探索图像操作的新时代，用鼠标点一点，打开创造的大门！让我们一起揭开神秘的"Drag Your GAN"的面纱，了解如何以一种全新的方式操纵图像。🔮😮 在这个视频中，你将看到如何仅通过选择图像上的几个点，就能轻松控制图像中物体的姿态、形状、表情和布局。这种巧妙的技术将彻底改变我们编辑和处理图像的方式，开启无限可能性。
😁👀 想让狮子张大嘴巴，或者让头向特定方向转动？只需点击你需要的位置，剩下的由我们的模型完成！🦁🔄 这是怎么做到的呢？我们将带你一探究竟。
🌳🚗 无论是动物、汽车、人类、还是风景，都可以精确控制图像的变形。想要看到这种神奇力量的例子吗？看看我们的网站吧！你会被模型如何将图片从静止变为动态，如何使表情从中性变为笑脸，以及如何轻松制作动画等等所震惊！
📆⏳ 这个独特的模型尚未开放源代码，但预计将在6月发布，我们真心期待你在那时一试身手。😎💻 如果你还在怀疑这种新方法是否能集成到现有的平台，别担心！开源社区总能找到方法，而且，我们已经有了自己的用户界面，让操作变得更加简单。
🌈🎆 看到了我们的进步，你会觉得生活在这个时代真好。期待在未来的某一天，你也能用这个神奇的工具玩出自己的创意。让我们一起期待这个美好的未来吧！别忘了给我们留言，让我们知道你对这个模型的看法和期待，还有你最希望做什么样的图片操纵！🗨️👍 现在就加入我们，开始你的创新之旅！
相关资料
- Github项目地址 代码预计6月份发布 https://github.com/XingangPan/DragGAN
- 相关博客 项目介绍 https://vcai.mpi-inf.mpg.de/projects/DragGAN/
- 相关论文 https://arxiv.org/pdf/2305.10973.pdf
图文讲解
这将使你大吃一惊。有一个新的模型，在它的帮助下，你可以很容易地操纵图像只是通过选择图像上的几个点。
结果是惊人的，他们看起来如此自然。
这是一个强大的新工具，让你精确控制图像中物体的姿势、形状、表情和布局。我们将在本视频中讨论这个问题。因此，所有你需要的是选择不同的点在图像上并定义你希望图像移动的方向，剩下的工作将由模型完成。
它将彻底改变我们编辑和处理图像的方式。现在，它是基于被称为Drag Your GAN，在生成图像流形上进行基于点的交互式操作。
它与目前基于Stable Diffusion的模型非常不同。所以你今天看到的大多数图像生成模型都是基于一种叫做Stable Diffusion的技术。而GAN是Stable Diffusion的前身。这是一个完全不同的算法，两三年前非常有名。但已经有点被Stable Diffusion所掩盖了。他们所展示的结果绝对是惊人的。
像他们的演示，你需要做的是简单地点击或选择图像上的几个点，然后定义变形或运动的方向，剩下的由模型完成。
因此，让我们看看它实际上是如何工作的。现在，如果你看这个图片，这里他们简单地定义了两个点。
一个是向上的，第二个有向下的方向。所以这个模型实际上是上下文感知的，而这意味着，用户正试图打开狮子的嘴，对吗？
而在第二种情况下，还有另外两个点，它只是把头向一个特定的方向移动。这个模型的伟大之处在于，因为它是情境感知的，所以它不仅改变了，比方说，脸、但身体的其他部分也是如此。该模型由两部分组成，是基于特征的运动监督控制运动，然后是使用GAN特征的点跟踪方法。
而根据他们的说法，用这种方法，任何人都可以精确控制图像的变形，或像素的去向，从而操纵不同类别的姿势、形状、表情和布局，如动物、汽车、人类、景观等等。
我们将看几个例子。现在，在此之前，只是关于代码的发布，所以它还不能用，但似乎他们将在6月的某个时候发布代码。
你们可能有的另一个问题是，它是否可以作为Automatic 11.11的一部分被整合，这是一种有缺陷的平台，用于运行基于Stable Diffusion模型。
所以实际上可能很难做到这一点，因为Automatic 11.11支持基于Stable Diffusion的模型，但这是一个完全不同的方法。但你永远不知道开源社区，所以会有办法来整合它，甚至他们自己的演示似乎也有一个相当不错的用户界面，可以用来操作图片。好的，那么让我们看看他们网站上的几个例子。所以，例如，这是一个狮子，他们只是简单地选择几个点。
所以我认为他们想移动脸部，对吗？
而且你看到像实际上整个身体是如何移动的，而且它只是，它是一个非常自然的运动与我们迄今为止从其他方法看到的相比。这是另一个。同样，脸在动，然后随着脸部的运动，甚至身体的其他部分也在移动。现在，从他们的演示来看，似乎你可以选择一个特定的区域，你希望运动发生的地方。
所以我们说在这种情况下，腿根本不动，只有脸在动，以及脸部、头发和一切。
现在，这是一个疯狂的问题，因为如果你看到这里，他们只是选择了马的一条腿，
而实际上身体的其他部分也随之移动，就像它正在运行。
而这是相当棒的，因为这是在一个点上完成的。再次，就像头在往下掉，而身体的其他部分也随之调整。所以看起来它也意识到了相关的物理学问题。这里是另一个例子。在这种情况下，它只是腿，我想，往回走。而在其他的例子中，他们也在玩弄树干。所以它还不完美，但这只是第一次迭代，对吗？所以你看到大象的躯干在动。
我其实对这个很感兴趣。所以基本上，你可以拍一张照片，并轻松地操纵它，对吗？所以在这种情况下，它是一张人脸，对吗？
而且你看，它实际上是一张中性的脸到一张笑脸，对吗？而且最棒的是，它看起来非常自然。
所以想象一下这里的可能性，比如你可以用这种非常简单的方法来为不同的图像制作动画。因此，有了这个，你就不必再去训练，比方说像Lora或Dreambooth这样的模型，而是从一个单一的图像中，可以创建不同姿势的图像，可能是不同的面部表情，同时保留了形状的特征。
因此，能够做到这一点是非常了不起的。而我认为这里是一个局部变化的例子。
所以他们只选择了眼睛，对吗？然后我认为这将只是关闭眼睛。
现在你看到，有一个非常小的运动，对吗？根据步骤数，然后只有其中一只眼睛是闭着的，另一只是睁着的。
这是相当不错的。现在用这个，你甚至可以做景观变化。
所以看看这个，它被选中了现在是树木的反射，它实际上是变化的，对吗？
所以最初是，我想到这一点，然后就被拖下来了。所以如果你不喜欢你的图像中的某些东西，你可以很容易地操纵它们。
它改变了地平线，这很疯狂。
我认为这个，山脉会升起来这真是太棒了。
你知道，这里还有一个，一个微观的生物，对吗？
所以他们能够控制运动，但我认为这也取决于训练数据，以及使用什么样的训练数据，可能还有训练数据中的哪些对象。
这样，在某些情况下，操纵看起来更自然。现在，对于所有的汽车爱好者来说，你看到它实际上是把汽车的天花板去掉了，对吗？
所以它是相当棒的。想想这在媒体和如何操纵图像方面可能会有的潜在应用。现在，我非常喜欢的一个演示有这个，你实际上可以旋转物体。因此，在这种情况下，如果你看它，他们正在旋转汽车并且，汽车的结构保持相当一致。所以有一些细微的变形，但不会是看起来非常不自然的疯狂变形。
好吧，这是另一个。我认为他们完全旋转了。对，而且是一辆小车。所以他们会简单地旋转整辆车。所以你可以想想它可能有的潜在应用。好的，所以这是一个快速的更新。我只是想做这个快速的视频，涵盖最新的情况。代码将有望在6月的某个时候推出，然后我们就能玩转它了。
当你看到目前的进步速度时，一个人唯一能说的是，真是个好时代。谢谢你的观看。我们下期再见。