torch检查什么项目（【记录】torch.nn.CrossEntropyLoss报错及解决）

报错

在多分类语义分割问题中使用torch.nn.CrossEntropyLoss的时候    
    
    
    
 ，遇到的报错有：

1. Assertion `t >= 0 && t < n_classes` failed. 2. RuntimeError: Expected floating point type for target with class probabilities, got Long

通过官方文档了解到


     


     


     


     ，torch.nn.CrossEntropyLoss分为两种情况：

直接使用class进行分类
 




 




 




 




，此时的label为0   

   

   

   

，1 

     

     

     

     ，2…的整数    
    
    
    
 。对于这类情况

  




  




  




  



，torch.nn.CrossEntropyLoss中添加了LogSoftmax以及 NLLLoss  


  


  


  


，因此不用在网络的最后添加 softmax和argmax 将输出结果转换为整型


     


     


     


     。 使用每一类的概率
 




 




 




 




。这种标签通常情况下效果比直接使用class进行分类要好一些  
     
     
     
    ，但在少样本 && 在每一类上使用标签过于严格 的时候


   




   




   




   


，才推荐使用概率作为标签   

   

   

   

。

解决

假设传入torch.nn.CrossEntropyLoss的参数为torch.nn.CrossEntropyLoss(pred, label) 



 



 



 



，其中pred为模型预测的输出                     ，label为标签 

     

     

     

     。

这两个报错都是因为pred输入的维度错误导致的 根据官网文档



    




    




    




    

，如果直接使用class进行分类



















，pred的维度应该是[batchsize, class, dim 1, dim 2, ... dim K]                     ，label的维度应该是[batchsize, dim 1, dim 2, ... dim K]

  




  




  




  



。注意在网络输出的channel中加入class number

的维度  


  


  


  


。不然softmax无法计算



     



     



     



     
，及model的output channel = class number  
     
     
     
    。

另



















，如果想直接使用class进行分类    
    
    
    
 ，需要讲label的type转换成long格式：labels = labels.to(device, dtype=torch.long)