深度学习模型调参笔记

train loss 下降                  ，val loss下降 
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  ，说明网络仍在学习； 奈斯

















，继续训练

train loss 下降
  
  
  
  
  
  
  
  
  
，val loss上升 
  
  
  
  
  
  
  
  
 ，说明网络开始过拟合了；赶紧停止 


 


 


 


 


 


 


 


 


 ，然后数据增强  
  
  
  
  
  
  
  
  
 、正则

train loss 不变
 
 
 
 
 
 
 
 
 
，val loss不变  
   
   
   
   
   
   
   
   
 ，说明学习遇到瓶颈；调小学习率或批量数目

train loss 不变 

 

 

 

 

 

 

 

 

 ，val loss下降

 

 

 

 

 

 

 

 

 
，说明数据集100%有问题；检查数据集标注有没有问题

train loss 上升                  ，val loss上升 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 ，说明网络结构设计不当


















，训练超参数设置不当                           ，数据集经过清洗等问题                  。

loss震荡？

轻微震荡一般是正常的 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 ，在一定范围内



























，一般来说 Batch Size 越大                  ，其确定的下降方向越准 
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  ，引起训练震荡越小

















，如果震荡十分剧烈
  
  
  
  
  
  
  
  
  
，那估计是Batch Size设置的太小了吧

欠拟合

模型对训练集的学习能力不够

train loss下降的非常平缓 
  
  
  
  
  
  
  
  
 ，以至于似乎并没有下降 


 


 


 


 


 


 


 


 


 ，这说明模型根本没从数据中学到东西 
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  。

training loss还在继续下降
 
 
 
 
 
 
 
 
 
，这说明还有学习空间  
   
   
   
   
   
   
   
   
 ，模型还没来得及学就结束了

















。

欠拟合原因

过拟合

模型学过头了 

 

 

 

 

 

 

 

 

 ，以至于把一些噪声和随机波动也学进来了
  
  
  
  
  
  
  
  
  
。

完美拟合

loss曲线可视化

plt.plot(history.history[loss]) plt.plot(history.history[val_loss]) plt.title(model loss) plt.ylabel(loss) plt.xlabel(epoch) plt.legend([train, validation], loc=upper left) plt.show()

神经网络优化算法的发展

SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam

SGD：没有用到二阶动量

 

 

 

 

 

 

 

 

 
，因此学习率是恒定的（实际使用过程中                  ，会采用学习率衰减策略）；

AdaGrad：学习率不断递减 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 ，最终收敛到0


















，模型也得以收敛 
  
  
  
  
  
  
  
  
 。

Adam:二阶动量是固定时间窗口内的累积                           ，随着时间窗口的变化 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 ，遇到的数据可能发生巨变



























，使得学习率可能时大时小                  ，不是单调变化 
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  ，这就可能在训练后期引起学习率的震荡

















，导致模型无法收敛 


 


 


 


 


 


 


 


 


 。

Adam 和 SGD 对比 建议： 前期用Adam,享受Adam快速收敛的优势；后期用SGD
  
  
  
  
  
  
  
  
  
，慢慢寻找最优解
 
 
 
 
 
 
 
 
 
。

dam等自适应学习率算法：对于稀疏数据具有优势 
  
  
  
  
  
  
  
  
 ，且收敛速度很快；

SGD：虽然收敛速度不及Adam快 


 


 


 


 


 


 


 


 


 ，但是精调参数的SGD往往能取得更好的最终结果；

对训练数据的监控是要保证模型进行了充分的训练——下降方向正确
 
 
 
 
 
 
 
 
 
，且学习率足够高；对验证数据的监控是为了避免出现过拟合  
   
   
   
   
   
   
   
   
 。

激活函数

激励函数相当于一个过滤器或激励器  
   
   
   
   
   
   
   
   
 ，它把特有的信息或特征激活 

 

 

 

 

 

 

 

 

 。

常见的激活函数包括softplus 
  
  
  
  
  
  
  
  
 、sigmoid


 


 


 


 


 


 


 


 


 
、relu 
 
 
 
 
 
 
 
 
、softmax  
   
   
   
   
   
   
   
   
  、elu

 

 

 

 

 

 

 

 

 
、tanh等

 

 

 

 

 

 

 

 

 
。

隐藏层：

对于隐藏层 

 

 

 

 

 

 

 

 

 ，使用relu
 

 

 

 

 

 

 

 

 
、tanh                   、softplus等 非线性关系

分类问题：

使用sigmoid（值越小越接近于0

 

 

 

 

 

 

 

 

 
，值越大越接近于1）
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
、softmax函数

对每个类求概率                  ，最后以最大的概率作为结果；

回归问题：

使用线性函数（linear function）