recall python（python ReLU函数是什么）

说明

1    
    
    
    
、线性整流函数    
    
    
    
，又称为修正性线性单元  


     


     


     


  ，ReLU是一个分段函数


 




 




 




 
，其公式为:f(x)=max(0,x) 
    
    
    
  。

2  


     


     


     


  、比Sigmoid函数收敛速度更快
     


     


     


     
。输出以0为中心 




 




 




 




。由于饱和性产生的梯度消失 

   

   

   

 。

实例

importnumpyasnp importmatplotlib.pyplotasplot defrelu(x): returnnp.maximum(0,x) if__name__=="__main__": a=np.arange(-20,20,0.1) b=relu(a) plot.plot(a,b,label="ReLU",color="red") plot.legend() plot.grid() plot.show()

以上就是python ReLU函数的介绍   

   

   

   

，希望对大家有所帮助
     

     

     

     。更多Python学习指路：Python基础教程