目录

GAN的训练过程：

L1和L2损失函数的区别

基础概念

相同点

差异

GAN的训练过程：

1            、先定义一个标签：real = 1            ，fake = 0
  
  
  
  
  
  
。当然这两个值的维度是按照数据的输出来看的 
  
  
  
  
  
 。再定义了两个优化器 


 


 


 


 


 


 。用于生成器和判别器
 
 
 
 
 
 
。

2  
 
  
 
  
 
  
 
  
 
  
 
 、随机生成一个噪声z  
   
   
   
   
   
 。将z作为生成器的输入  
 
  
 
  
 
  
 
  
 
  
 
 ，输出gen_imgs（假样本） 

 

 

 

 

 

 。

3












、计算生成器的损失

定义：生成器的损失为g_loss

 

 

 

 

 

 
。损失函数为adverisal_loss()            。判别器为discriminator() 
 

 
 

 
 

 
 

 
 

 
 

 。 g_loss = adverisal_loss(discriminator(gen_imgs), real) g_loss.backward() optimizer_G.step()

可以看出来












，g_loss是根据一个输出（将生成的样本作为输入的判别器的输出）与real的一个损失












。

1）discriminator(gen_imgs) 的输出是个什么？

既然是判别器
  
  
  
  
  
  ，意思就是判别gen_imgs是不是真样本                  。如果是用softmax输出  
  
  
  
  
  
 ，是一个概率
 


 


 


 


 


 


，为真样本的概率 
 
 
 
 
 
 
 
 
 
 
 
 。

2）g_loss = adverisal_loss(discriminator(gen_imgs), real)

计算g_loss就是判别器的输出与real的差距
 
 
 
 
 
 ，让g_loss越来越小   
   
   
   
   
   
 ，就是让gen_imgs作为判别器的输出的概率更接近valid


















。就是让gen_imgs更像真样本            。

3）要注意的是
 

 

 

 

 

 

，这个g_loss用于去更新了生成器的权重 
 
  
 
  
 
  
 
  
 
  
 
  。这个时候

 

 

 

 

 

 ，判别器的权重并没有被更新











。

4
  
  
  
  
  
  、分别把假样本和真样本都送入到判别器
  
  
  
  
  
  
。

real_loss = adverisal_loss(discriminator(real_imgs), real) fake_loss = adverisal_loss(discriminator(gen_imgs.detach()), fake) d_loss = (real_loss + fake_loss) / 2 d_loss.backward() optimizer_D.step()

real_loss是判别器去判别真样本的输出             ，让这个输出更接近与real 
  
  
  
  
  
 。

fake_loss是判别器去判别假样本的输出
 
 

 
 

 
 

 
 

 
 

 
 

，让这个输出更接近与fake 


 


 


 


 


 


 。

d_loss是前两者的平均
 
 
 
 
 
 
。

损失函数向后传播











，就是为了让d_loss ---> 0  
   
   
   
   
   
 。也就是让：

real_loss ---> 0 ===> 让判别器的输出(真样本概率)接近 real

fake_loss ---> 0 ===> 让判别器的输出(假样本概率)接近 fake

也就是说                   ，让判别器按照真假样本的类别 
 
 
 
 
 
 
 
 
 
 
 
，分别按照不同的要求去更新参数 

 

 

 

 

 

 。

5  
  
  
  
  
  
 、损失函数的走向？

g_loss 越小


















，说明生成器生产的假样本作为判别器的输入的输出（概率）越接近real            ，就是生成的假样本越像真样本

 

 

 

 

 

 
。

d_loss越小  
 
  
 
  
 
  
 
  
 
  
 
 ，说明判别器越能够将识别出真样本和假样本            。

所以












，最后是要让g_loss更小
  
  
  
  
  
  ，d_loss更接近0.5 
 

 
 

 
 

 
 

 
 

 
 

 。以至于d_loss最后为0.5的时候  
  
  
  
  
  
 ，达到最好的效果












。这个0.5的意思就是：判别器将真样本全部识别正确
 


 


 


 


 


 


，所以real_loss=0                  。把所有的生成的假样本识别错误(生成的样本很真)
 
 
 
 
 
 ，此时fake_loss = 1 
 
 
 
 
 
 
 
 
 
 
 
 。最后的d_loss = 1/2


















。

补充：

L1和L2损失函数的区别

基础概念

    L1损失函数又称为MAE(mean abs error)   
   
   
   
   
   
 ，即平均绝对误差
 

 

 

 

 

 

，也就是预测值和真实值之间差值的绝对值            。

    L2损失函数又称为MSE(mean square error)

 

 

 

 

 

 ，即平均平方误差             ，也就是预测值和真实值之间差值的平方 
 
  
 
  
 
  
 
  
 
  
 
  。

相同点

    因为计算的方式类似
 
 

 
 

 
 

 
 

 
 

 
 

，只有一个平方的差异











，因此使用的场合都很相近                   ，通常用于回归任务中











。

差异

    1）L2没有L1鲁棒 
 
 
 
 
 
 
 
 
 
 
 
，直观来说


















，L2会将误差平方            ，如果误差大于1  
 
  
 
  
 
  
 
  
 
  
 
 ，则误差会被放大很多












，因此模型会对异常样本更敏感
  
  
  
  
  
  ，这样会牺牲许多正常的样本
  
  
  
  
  
  
。当训练集中含有更多异常值的时候  
  
  
  
  
  
 ，L1会更有效 
  
  
  
  
  
 。

    2）如果是图像重建任务
 


 


 


 


 


 


，如超分辨率
 


 


 


 


 


 


、深度估计
 
 
 
 
 
 、视频插帧等
 
 
 
 
 
 ，L2会更加有效   
   
   
   
   
   
 ，这是由任务特性决定了
 

 

 

 

 

 

，图像重建任务中通常预测值和真实值之间的差异不大

 

 

 

 

 

 ，因此需要用L2损失来放大差异             ，进而指导模型的优化 


 


 


 


 


 


 。

    3）L1的问题在于它的梯度在极值点会发生跃变
 
 

 
 

 
 

 
 

 
 

 
 

，并且很小的差异也会带来很大的梯度











，不利于学习                   ，因此在使用时通常会设定学习率衰减策略
 
 
 
 
 
 
。而L2作为损失函数的时候本身由于其函数的特性 
 
 
 
 
 
 
 
 
 
 
 
，自身就会对梯度进行缩放


















，因此有的任务在使用L2时甚至不会调整学习率            ，不过随着现在的行业认知  
 
  
 
  
 
  
 
  
 
  
 
 ，学习率衰减策略在很多场景中依然是获得更优模型的手段  
   
   
   
   
   
 。