BatchSize的数值并不是设置的越大越好

通常我们可能会认为设置较大的batchsize时
  
  
  
  
  
  
  
  
  
  
 ，模型的训练效果会比较好
  
  
  
  
  
  
  
  
  
  
 。原因有以下几点：

1                     、模型由于每次得到较多的训练数据 
  
  
  
  
  
  
  
  
  
  ，模型的下降方向会更加准确 


 


 


 


 


 


 


 


 


 


 

，模型训练曲线会更加平滑 
  
  
  
  
  
  
  
  
  
  。

2  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
、减少了训练时间 


 


 


 


 


 


 


 


 


 


 

。同样的epoch时
 
 
 
 
 
 
 
 
 
 
，batchsize需要的batch数目减少了  
   
   
   
   
   
   
   
   
   
   ，所以处理速度变快了
 
 
 
 
 
 
 
 
 
 
。

但是啊但是 

 

 

 

 

 

 

 

 

 

 
，

较大的batchsize有以下几点问题需要注意：

1




















、内存问题  
   
   
   
   
   
   
   
   
   
   。较大的batch可能会造成内存/显存溢出

2
  
  
  
  
  
  
  
  
  
  
 、泛化能力下降 

 

 

 

 

 

 

 

 

 

 
。这一点是我之前没有考虑到的一点

 

 

 

 

 

 

 

 

 

 

。使用太大的批处理大小可能会在训练期间对网络的准确性产生负面影响

 

 

 

 

 

 

 

 

 

 

，因为它减少了梯度下降的随机性                     。

使用较小的批处理大小产生更不稳定  
  
  
  
  
  
  
  
  
  
 、更随机的权重更新 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 。这有两个积极的影响





















。首先                     ，它可以帮助训练“跳出                     ”之前可能陷入的局部最小值 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 ，其次





















，它可以使训练稳定在“更平坦  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
”的最小值                               ，这通常表明泛化性能更好                               。

怎么选取训练神经网络时的Batch size? - 知乎 (zhihu.com)

上面这篇链接里(侵删)指出：

当有足够算力时 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 ，选取batch size为32或更小一些 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 。 算力不够时































，在效率和泛化性之间做trade-off                     ，尽量选择更小的batch size































。 当模型训练到尾声 
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 ，想更精细化地提高成绩（比如论文实验/比赛到最后）




















，有一个有用的trick
  
  
  
  
  
  
  
  
  
  
 ，就是设置batch size为1 
  
  
  
  
  
  
  
  
  
  ，即做纯SGD 


 


 


 


 


 


 


 


 


 


 

，慢慢把error磨低                     。