一            、Batchsize基本介绍

1. Batchsize是什么

batch_size：表示单次传递给程序用以训练的数据（样本）个数
  
  
  
  
  
  。如果我们的数据集钟含有的样本总数为12800个样本            ，batch_size=128  
 
  
 
  
 
  
 
  
 
  
 
，那么就需要10个batch才能够训练完一个epoch 
  
  
  
  
  
 。

batch_size一般取值为2的N次幂的形式











，这是因为CPU或者GPU的内存架构是2的N次幂 


 


 


 


 


 


。CPU在读取内存时是一块一块进行读取的
  
  
  
  
  
  ，块的大小可以是2  
  
  
  
  
  
，4
 


 


 


 


 


 

，8
 
 
 
 
 
 ，16（总之是2的倍数）
 
 
 
 
 
 。因此   
   
   
   
   
   
，选取2的n次幂作为batch大小
 

 

 

 

 

 
，主要是为了将一个或多个批次整齐地安装在一个页面上

 

 

 

 

 

 ，以帮助GPU并行处理  
   
   
   
   
   
 。但经过researchers的大量实验            ，事实上
 
 

 
 

 
 

 
 

 
 

 
 
，batch_size对速度和结果影响并不大（可能会慢一点点











，但是几乎可以忽略不记） 

 

 

 

 

 

。

2. 神经网络是如何逐渐收敛的

以回归任务为例                  ，我们根据预测值与真实值之间的偏差设定损失函数Loss Function（常见的有L2-Loss 
 
 
 
 
 
 
 
 
 
 
 
，L1-Loss

















，CrossEntropy等）

 

 

 

 

 

 。最原始的机器学习中            ，还没有Batchsize的概念  
 
  
 
  
 
  
 
  
 
  
 
，在优化过程中ÿ