排序有先后 
  
  
  
  
  
  
 ，后面的基本是基于前面方法的不足进行改进               。

好的激活函数应该满足的条件

1.非线性：这是必须的 
  
  
  
  
  
  
  ，也是添加激活函数的原因
 
  
 
  
 
  
 
  
 
  
 
  
 
  
。

2.几乎处处可微：反向传播中

 


 


 


 


 


 


 

，损失函数要对参数求偏导 
 
 
 
 
 
 
，如果激活函数不可微 
   
   
   
   
   
   
   ，那就无法使用梯度下降方法更新参数了













。(ReLU只在零点不可微
 

 

 

 

 

 

 
，但是梯度下降几乎不可能收敛到梯度为0)

3.计算简单：神经元(units)越多
 

 

 

 

 

 

 

，激活函数计算的次数就越多              ，复杂的激活函数会降低训练速度  
  
  
  
  
  
  
 。

4.非饱和性：饱和指在某些区间梯度接近于零 

 
 

 
 

 
 

 
 

 
 

 
 

 
 ，使参数无法更新 
  
  
  
  
  
  
 。Sigmoid和tanh都有这个问题














，而ReLU就没有                     ，所以普遍效果更好


 


 


 


 


 


 


 
。

5.有限的值域：这样可以使网络更稳定 
 
 
 
 
 
 
 
 
 
 
 
 
 
 ，即使有很大的输入





















，激活函数的输出也不会太大 
 
 
 
 
 
 
。

现有比较好的激活函数（SiLU              ，Mish 
  
 
  
 
  
 
  
 
  
 
  
 
  
 ，ELU）是有下界               、无上界
 
  
 
  
 
  
 
  
 
  
 
  
 
  
、平滑













、非单调  
   
   
   
   
   
   
  。

有下界：可以提高正则化效果

无上界：防止网络饱和














，及梯度为零

平滑：可以避免在不可导点的一些问题 
  
  
  
  
  
  
 ，更容易优化

非单调：可以保留一些负输入 
  
  
  
  
  
  
  ，提高网络的表达能力

Sigmoid（逻辑函数logistic）

 缺点：

1.容易饱和：输入太大或太小都会使其梯度接近0

 


 


 


 


 


 


 

，在反向传播中梯度接近0时参数就会难以更新

 

 

 

 

 

 

 
。另外还需要将参数初始化得比较小才能避免刚开始就梯度为0
 

 

 

 

 

 

 
。

2.非零均值：模型收敛需要更多时间               。

解释：反向传播更新参数公式如下 
 
 
 
 
 
 
，xi是上层的输出 
   
   
   
   
   
   
   ，恒正
 

 

 

 

 

 

 
，f(1-f)恒正
 

 

 

 

 

 

 

，所以所有wi的更新方向一致
 

 
 

 
 

 
 

 
 

 
 

 
 

 
。

3.幂运算相对计算量较大

tanh（双曲正切）

 缺点：解决了非零均值问题              ，仍存在梯度消失和计算量大的问题













。

ReLU

ReLU 

 
 

 
 

 
 

 
 

 
 

 
 

 
 ，线性整流函数(Rectified Linear Unit)














，又称修正线性单元                      。

优点：1.在正区间解决了梯度消失问题；2.计算速度快                     ，只需要判断正负；3.收敛速度快于Sigmoid和tanh

缺点：1.非零均值；2. Dead ReLU Problem：一些神经元可能永远不能被激活 
 
 
 
 
 
 
 
 
 
 
 
 
 
 ，导致相应参数不能更新
 
 
 
 
 
 
 
 
 
 
 
 
 
 
。

解释Dead ReLU Problem：

因为xi是上层各个神经元的输出





















，即上层每个神经元的激活函数的输出              ，可知其值一定为0或者正数 
  
 
  
 
  
 
  
 
  
 
  
 
  
 ，为方便说明现在假设xi都为正数




















。看上式














，现在xi为正数 
  
  
  
  
  
  
 ，学习率n肯定也是正数 
  
  
  
  
  
  
  ，若损失函数对激活函数的导数也是正数且足够大

 


 


 


 


 


 


 

，并假设学习率n也不小 
 
 
 
 
 
 
，那么很多wi更新这一次后就变成了负数 
   
   
   
   
   
   
   ，这会导致下层的输入是负数
 

 

 

 

 

 

 
，下层的输出就变成0               。

造成Dead ReLU Problem问题的主要原因可能为：1.学习率n太大导致参数更新幅度太大；2.糟糕的权重初始化
 
  
 
  
 
  
 
  
 
  
 
  
 
  
。

解决方法：避免学习率设置过大
 

 

 

 

 

 

 

，使用adagrad等可以自动调节学习率的方法













。

Softplus

优点：类似于ReLU              ，但有下界 

 
 

 
 

 
 

 
 

 
 

 
 

 
 ，无上界














，平滑

缺点：导数小于1                     ，可能存在梯度消失的问题；单调 
 
 
 
 
 
 
 
 
 
 
 
 
 
 ，无法保留负输入；非零均值





















，收敛慢  
  
  
  
  
  
  
 。

ELU（Exponential Linear Units）

指数的线性单元              ，

优点：解决了Dead ReLU Problem问题；有下界  
  
  
  
  
  
  
 、无上界 
  
  
  
  
  
  
 、平滑 
  
  
  
  
  
  
 。

缺点：计算量较大

Leaky Relu（YOLOv5 5.0之前）

  α = 0.01（通常）

 优点：解决了Dead ReLU Problem问题以及所有ReLU的优点（在正区间解决了梯度消失的问题 
  
 
  
 
  
 
  
 
  
 
  
 
  
 ，计算简单














，收敛速度快）


 


 


 


 


 


 


 
。

SiLU（Swish）（YOLOv5 6.0之后）

β = 1就是SiLU

优点：ReLU有无上界和有下界的特点 
  
  
  
  
  
  
 ，而Swish相比ReLU又增加了平滑和非单调的特点 
  
  
  
  
  
  
  ，这使得其在ImageNet上的效果更好 
 
 
 
 
 
 
。

缺点：引入了指数函数

 


 


 


 


 


 


 

，增加了计算量.

Mish

优点：平滑


 


 


 


 


 


 


 
、非单调 
 
 
 
 
 
 
、无上界  
   
   
   
   
   
   
  、有下界

缺点：引入了指数函数 
 
 
 
 
 
 
，增加了计算量

作者注：其实Mish那篇文章说比SiLU效果更好 
   
   
   
   
   
   
   ，但是一些人复现后发现就差不多
 

 

 

 

 

 

 
，作者也认为差不多
 

 

 

 

 

 

 

，函数和导数图像如此之像能有多大差别[掩面而泣]