Conditional GAN (CGAN,条件GAN),是 Mehdi Mirza 于2014年11月份发表的一篇文章,也是 GAN 系列的早期经典模型之一,是目前许多GAN应用的前身。
文章的想法是 希望 可以控制 GAN 生成的图片,而不是单纯的随机生成图片。具体地,Conditional GAN 在生成器和判别器的输入中增加了额外的 条件信息,生成器生成的图片只有足够真实且与条件相符,才能够通过判别器。
一、论文解读
原始的 GAN 模型没有任何条件限制,生成图像是随机的。因此作者考虑 加入一些条件信息,比如 类别标签 或者是 其他类型的数据,使得 图像生成能够朝规定的方向进行。
举个例子,比如输入一只狗在奔跑,输出即为一只狗在奔跑的图。
为了实现条件GAN的目的,生成网络和判别网络的原理和训练方式均要有所改变。
模型部分,在判别器和生成器中都添加了额外信息 y,y 可以是类别标签或者是其他类型的数据,可以将 y 作为一个额外的输入层丢入判别器和生成器。
在生成器中,作者将输入噪声 z 和 y 连在一起隐含表示,而对抗性训练框架在如何构成这种隐藏表示上具有相当大的灵活性。(需要注意的是,Conditional GAN中并没有用到卷积操作,所以这么操作是没有任何问题的。)
生成对抗网络(Generative Adversarial Networks,简称GAN)是一种由生成器和判别器组成的机器学习模型,它们通过对抗训练的方式相互竞争,以生成逼真的样本数据。自GAN的提出以来,研究者们对其进行了许多改进,下面是一些常见的GAN改进技术:
-
深层网络结构:通过增加生成器和判别器的网络层数、使用更强大的网络结构(如卷积神经网络),可以提高GAN的生成和判别性能。
-
条件GAN:引入条件GAN,使得生成器和判别器可以基于额外的条件信息生成或判别样本。这种方法常用于生成特定类别的样本,例如,给定一个标签生成与标签相关的图像。
-
Wasserstein GAN(WGAN):WGAN引入了Wasserstein距离作为损失函数,解决了原始GAN中训练不稳定的问题。WGAN通过限制生成器和判别器之间的差异度量,使得训练过程更加平滑和可靠。
-
注意力机制:将注意力机制引入到生成器或判别器中,可以使模型在生成或判别过程中更加关注图像的重要区域,从而提高生成样本的质量。
-
无监督条件GAN:这种方法结合了无监督学习和条件GAN,使得生成器可以从无标签的数据中学习,同时生成与给定条件相关的样本。
-
生成器和判别器的平衡:通过调整生成器和判别器之间的相对权重或训练策略,可以改善GAN的性能。例如,可以使用多次判别器更新来增加判别器的能力,或者采用动态权重调整的方法。
-
增量训练:将新的样本数据逐步引入训练过程中,避免在每次训练中使用全部数据,以减轻训练过程中的计算负担,并提高训练效率。
这只是一些GAN改进的例子,研究者们一直在不断提出新的改进方法以进一步提高GAN的性能和稳定性。