Generative Adversarial Networks

Minimax objective function

样本来源共有两部分：x∼Pdata$x\sim P_{data}$，z∼P(z)$z\sim P(z)$

两个网络：判别器Dθd$D_{{\theta }_d}$，生成器Gθg$G_{{\theta }_g}$

首先从判别器的视角来看，分别考虑两部分数据：

对于第一部分的real样本x∼Pdata$x\sim P_{data}$，只和判别器Dθd$D_{{\theta }_d}$打交道，判别器对于real样本预测为real的概率为Dθd(x)$D_{{\theta }_d}(x)$，最大化这个概率（取对数），有

maxθdEx∼Pdata logDθd(x)$\begin{array}{r}\underset{{\theta }_d}{max}{\mathbb{E}}_{x\sim P_{data}}\log D_{{\theta }_d}(x)\end{array}$

对于第二部分样本z∼P(z)$z\sim P(z)$，送入生成器后得到fake样本Gθg(z)$G_{{\theta }_g}(z)$

因为在第一部分样本中，我们已经有maxθd$\underset{{\theta }_d}{max}$，所以我们需要为判别器再构造出一个概率最大化的式子，于是想到最大化判别器预测fake样本为fake的概率，即1−Dθd(Gθg(z))$1-D_{{\theta }_d}\left(G_{{\theta }_g}(z)\right)$，最大化这个概率（取对数），有

maxθdEz∼P(z)log(1−Dθd(Gθg(z)))$\begin{array}{r}\underset{{\theta }_d}{max}{\mathbb{E}}_{z\sim P(z)}\log \left(1-D_{{\theta }_d}\left(G_{{\theta }_g}(z)\right)\right)\end{array}$

最终，将这两个maxθd$\underset{{\theta }_d}{max}$整合起来，可得判别器的优化目标
maxθd[Ex∼Pdata logDθd(x)+Ez∼P(z)log(1−Dθd(Gθg(z)))]$\begin{array}{r}\underset{{\theta }_d}{max}\left[{\mathbb{E}}_{x\sim P_{data}}\log D_{{\theta }_d}(x)+{\mathbb{E}}_{z\sim P(z)}\log \left(1-D_{{\theta }_d}\left(G_{{\theta }_g}(z)\right)\right)\right]\end{array}$

然后从生成器的视角来看，生成器与判别器的目标恰好相反，于是将maxθd$\underset{{\theta }_d}{max}$改为minθg$\underset{{\theta }_g}{min}$，并且注意到Ex∼Pdata logDθd(x)${\mathbb{E}}_{x\sim P_{data}}\log D_{{\theta }_d}(x)$这一项与生成器无关，可以去掉，最终可得

minθgEz∼P(z)log(1−Dθd(Gθg(z)))$\begin{array}{r}\underset{{\theta }_g}{min}{\mathbb{E}}_{z\sim P(z)}\log \left(1-D_{{\theta }_d}\left(G_{{\theta }_g}(z)\right)\right)\end{array}$

综上所述，整合两部分样本后，GAN的训练目标为
minθgmaxθd[Ex∼Pdata logDθd(x)+Ez∼P(z)log(1−Dθd(Gθg(z)))]$\begin{array}{r}\underset{{\theta }_g}{min}\underset{{\theta }_d}{max}\left[{\mathbb{E}}_{x\sim P_{data}}\log D_{{\theta }_d}(x)+{\mathbb{E}}_{z\sim P(z)}\log \left(1-D_{{\theta }_d}\left(G_{{\theta }_g}(z)\right)\right)\right]\end{array}$

Training

在训练时需要把判别器和生成器的训练目标拆开（好不容易整合起来了又要分开？！）

训练D的目标

maxθd[Ex∼Pdata logDθd(x)+Ez∼P(z)log(1−Dθd(Gθg(z)))]$\begin{array}{r}\underset{{\theta }_d}{max}\left[{\mathbb{E}}_{x\sim P_{data}}\log D_{{\theta }_d}(x)+{\mathbb{E}}_{z\sim P(z)}\log \left(1-D_{{\theta }_d}\left(G_{{\theta }_g}(z)\right)\right)\right]\end{array}$

添加负号，将max$max$变为min$min$，变为一种loss，我们希望该loss越小越好（省略期望符号E$\mathbb{E}$）

minθd[−logDθd(x)−log(1−Dθd(Gθg(z)))]$\begin{array}{r}\underset{{\theta }_d}{min}\left[-\log D_{{\theta }_d}(x)-\log \left(1-D_{{\theta }_d}\left(G_{{\theta }_g}(z)\right)\right)\right]\end{array}$

D_loss = tf.reduce_mean( -tf.log( D_real ) - tf.log( 1 - D_fake ) )

我们稍微使用一点技巧，就可以转化为交叉熵

minθd[−1–⋅logDθd(x)−(1−0–)⋅log(1−Dθd(Gθg(z)))]$\begin{array}{r}\underset{{\theta }_d}{min}\left[-\underset{\_}{1}\cdot \log D_{{\theta }_d}(x)-(1-\underset{\_}{0})\cdot \log \left(1-D_{{\theta }_d}\left(G_{{\theta }_g}(z)\right)\right)\right]\end{array}$

上式可以理解为对real样本Dθd(x)$D_{{\theta }_d}(x)$赋予标签1–$\underset{\_}{1}$，对fake样本Dθd(Gθg(z))$D_{{\theta }_d}\left(G_{{\theta }_g}(z)\right)$赋予标签0–$\underset{\_}{0}$，因此上式等价于

minθd[LBCE(1,Dθd(x))+LBCE(0,Dθd(Gθg(z)))]$\begin{array}{r}\underset{{\theta }_d}{min}\left[L_{\mathrm{B}\mathrm{C}\mathrm{E}}\left(1,D_{{\theta }_d}(x)\right)+L_{\mathrm{B}\mathrm{C}\mathrm{E}}\left(0,D_{{\theta }_d}\left(G_{{\theta }_g}(z)\right)\right)\right]\end{array}$

D_loss_real = tf.reduce_mean( tf.nn.sigmoid_cross_entropy_with_logits( logits=D_logit_real, labels=label_one ) )
D_loss_fake = tf.reduce_mean( tf.nn.sigmoid_cross_entropy_with_logits( logits=D_logit_fake, labels=label_zero ) )
D_loss = D_loss_real + D_loss_fake

训练G的目标

minθgEz∼P(z)log(1−Dθd(Gθg(z)))$\begin{array}{r}\underset{{\theta }_g}{min}{\mathbb{E}}_{z\sim P(z)}\log \left(1-D_{{\theta }_d}\left(G_{{\theta }_g}(z)\right)\right)\end{array}$

为了避免“flat gradient”，我们将“最小化判别器预测fake样本为fake的概率”转换为“最大化判别器预测fake样本为real的概率”

maxθgEz∼P(z)logDθd(Gθg(z))$\begin{array}{r}\underset{{\theta }_g}{max}{\mathbb{E}}_{z\sim P(z)}\log D_{{\theta }_d}\left(G_{{\theta }_g}(z)\right)\end{array}$

添加负号，将max$max$变为min$min$，变为一种loss，我们希望该loss越小越好（省略期望符号E$\mathbb{E}$）

minθg−logDθd(Gθg(z))$\begin{array}{r}\underset{{\theta }_g}{min}-\log D_{{\theta }_d}\left(G_{{\theta }_g}(z)\right)\end{array}$

G_loss = tf.reduce_mean( -tf.log( D_fake ) )

同样地，稍微使用一点技巧，就可以转化为交叉熵

minθg−1–⋅logDθd(Gθg(z))$\begin{array}{r}\underset{{\theta }_g}{min}-\underset{\_}{1}\cdot \log D_{{\theta }_d}\left(G_{{\theta }_g}(z)\right)\end{array}$

上式可以理解为对fake样本Dθd(Gθg(z))$D_{{\theta }_d}\left(G_{{\theta }_g}(z)\right)$赋予标签1–$\underset{\_}{1}$（原本fake样本应该赋予标签0–$\underset{\_}{0}$，但为了fool判别器，赋予相反的标签1–$\underset{\_}{1}$），因此上式等价于

minθdLBCE(1,Dθd(Gθg(z)))$\begin{array}{r}\underset{{\theta }_d}{min}{L}_{\mathrm{B}\mathrm{C}\mathrm{E}}\left(1,D_{{\theta }_d}\left(G_{{\theta }_g}(z)\right)\right)\end{array}$

G_loss = tf.reduce_mean( tf.nn.sigmoid_cross_entropy_with_logits( logits=D_logit_fake, labels=label_one ) )

Question：这是否就是How to Train a GAN? Tips and tricks to make GANs work中所说的“Flip labels when training generator: real = fake, fake = real”？
目前找到的Answer：Trick 2 explanation #15，从vijayvee的回答中，个人认为Answer是Yes

关于“flat gradient”的解释

对于fake样本Gθg(z)$G_{{\theta }_g}(z)$，可以分为如下两类

Dθd(Gθg(z))$D_{{\theta }_d}\left(G_{{\theta }_g}(z)\right)$落在区间[0,1]$[0,1]$中靠近0的一侧是那些生成质量差的fake样本

Dθd(Gθg(z))$D_{{\theta }_d}\left(G_{{\theta }_g}(z)\right)$落在区间[0, 1]中靠近1的一侧是那些生成质量好的fake样本

上图来自cs231n，横轴为Dθd(Gθg(z))$D_{{\theta }_d}\left(G_{{\theta }_g}(z)\right)$，纵轴为两个优化目标（蓝绿曲线）的值

对于蓝线，由于左边比较“flat”（斜率小），右边斜率大，因此那些生成质量好的fake样本的梯度会占据主导，这显然不是我们想要的

对于绿线，由于左边斜率大，右边斜率小，因此那些生成质量差的fake样本的梯度会占据主导，于是参数θg${\theta }_g$更新后，会着重提升那些生成质量差的样本的生成质量，这是我们想要的