概念理解

TP（True Positives)：真正例    
    
    
    
，预测为正例而且实际上也是正例；

FP（False Positives)：假正例    


     


     


     


，预测为正例然而实际上却是负例；

FN（false Negatives)：假负例




 




 




 




 ，预测为负例然而实际上却是正例；

TN（True Negatives)：真负例   

   

   

   
，预测为负例而且实际上也是负例   
    
    
    
。

真实值（True） 真实值（False) 预测值（Positive） 真正例（TP） 假正例（FP） 预测值（Negative） 假负例（FN） 真负例（TN）

准确率（accuracy）

所有预测正确的样本（包含正例或负例均预测正确     

     

     

     

，即正例预测为正TP或负例预测为负TN）占总样本的比例


     


     


     


     。

a

c

c

u

r

a

c

y

=

T

P

+

T

N

T

P

+

F

P

+

F

N

+

T

N

accuracy = \dfrac{TP+TN}{TP+FP+FN+TN}

accuracy=TP+FP+FN+TNTP+TN​ 虽然准确率能够判断总的正确率




  




  




  




 ，但是在样本不均衡的情况下
  


  


  


  
，并不能作为很好的指标来衡量结果 




 




 




 



。在样本不平衡的情况下     
     
     
     
，得到的高准确率没有任何意义 




   




   




   




 ，此时准确率就会失效   

   

   

   

。

精确率（也叫查准率

 



 



 



 
，precision)

预测为正的正例样本与全部预测为正例的样本

（对于预测而言                    ，包括真正例TP  




    




    




    




 ，假正例FP）的比值

     

     

     

    。即正确预测为正的占全部预测为正的比例


















，（真正正确的占所有预测为正的比例）

p

r

e

c

i

s

i

o

n

=

T

P

T

P

+

F

P

precision= \dfrac{TP}{TP+FP}

precision=TP+FPTP​

我们关心的主要部分是正例                    ，所以查准率就是相对正例的预测结果而言   



     



     



     



 ，正例预测的准确度
  




  




  




  


。直白的意思就是模型预测为正例的样本中


















，其中真正的正例占预测为正例样本的比例    
    
    
    
，用此标准来评估预测正例的准确度  


  


  


  


。

精确率代表对正样本结果中的预测准确程度    


     


     


     


，准确率则代表整体的预测准确程度




 




 




 




 ，包括正样本和负样本 
     
     
     
   。

召回率（也叫查全率   

   

   

   
，recall）

预测为正的正例占全部实际为正例的样本

（可能将实际正例预测为正例即真正例TP     

     

     

     

，也可能实际正例预测为负例即假负例FN）的比例（真正正确的占所有实际为正的比例）

以实际样本为判断依据




  




  




  




 ，实际为正例的样本中
  


  


  


  
，被预测正确的正例占总实际正例样本的比例

   




   




   




   

。

p

r

e

c

i

s

i

o

n

=

T

P

T

P

+

F

N

precision= \dfrac{TP}{TP+FN}

precision=TP+FNTP​

F1-score

精确率和召回率互相影响     
     
     
     
，理想状态下肯定追求两个都高 




   




   




   




 ，但是实际情况是两者相互“制约   
    
    
    
”：追求精确率高

 



 



 



 
，则召回率就低；追求召回率高                    ，则通常会影响精确率 



 



 



 



。我们当然希望预测的结果精确率越高越好  




    




    




    




 ，召回率越高越好


















， 但事实上这两者在某些情况下是矛盾的                   。这样就需要综合考虑它们                    ，最常见的方法就是F-score


    




    




    




    
。 也可以绘制出P-R曲线图   



     



     



     



 ，观察它们的分布情况



















。

F1值为算数平均数除以几何平均数


















，且越大越好    
    
    
    
，将Precision和Recall的上述公式带入会发现    


     


     


     


，当F1值小时




 




 




 




 ，True Positive相对增加   

   

   

   
，而false相对减少     

     

     

     

，即Precision和Recall都相对增加




  




  




  




 ，即F1对Precision和Recall都进行了加权                   。

F

1

=

2

∗

p

r

e

c

i

s

i

o

n

∗

r

e

c

a

l

l

p

r

e

c

i

s

i

o

n

+

r

e

c

a

l

l

=

2

T

P

2

T

P

+

F

P

+

F

N

F_1= \dfrac{2*precision*recall}{precision+recall}=\dfrac{2TP}{2TP+FP+FN}

F1​=precision+recall2∗precision∗recall​=2TP+FP+FN2TP​ 一般来说准确率和召回率呈负相关
  


  


  


  
，一个高     
     
     
     
，一个就低 




   




   




   




 ，如果两个都低

 



 



 



 
，一定是有问题的


     



     



     



     。 一般来说                    ，精确度和召回率之间是矛盾的  




    




    




    




 ，这里引入F1-Score作为综合指标


















，就是为了平衡准确率和召回率的影响                    ，较为全面地评价一个分类器



















。F1是精确率和召回率的调和平均   
    
    
    
。F1-score越大说明模型质量更高


     


     


     


     。