recall python（python ReLU函数是什么）

说明

1    
    
    
  、线性整流函数    
    
    
  ，又称为修正性线性单元  


     


     


     
，ReLU是一个分段函数


 




 




 




，其公式为:f(x)=max(0,x) 
    
    
    
。

2  


     


     


     
、比Sigmoid函数收敛速度更快
     


     


     


  。输出以0为中心 




 




 




 
。由于饱和性产生的梯度消失 

   

   

   

。

实例

importnumpyasnp importmatplotlib.pyplotasplot defrelu(x): returnnp.maximum(0,x) if__name__=="__main__": a=np.arange(-20,20,0.1) b=relu(a) plot.plot(a,b,label="ReLU",color="red") plot.legend() plot.grid() plot.show()

以上就是python ReLU函数的介绍   

   

   

 ，希望对大家有所帮助
     

     

     

 。更多Python学习指路：Python基础教程