torch检查什么项目（【记录】torch.nn.CrossEntropyLoss报错及解决）

报错

在多分类语义分割问题中使用torch.nn.CrossEntropyLoss的时候    
    
    
   ，遇到的报错有：

1. Assertion `t >= 0 && t < n_classes` failed. 2. RuntimeError: Expected floating point type for target with class probabilities, got Long

通过官方文档了解到


     


     


     

，torch.nn.CrossEntropyLoss分为两种情况：

直接使用class进行分类
 




 




 




，此时的label为0   

   

   

  ，1 

     

     

     
，2…的整数    
    
    
   。对于这类情况

  




  




  




，torch.nn.CrossEntropyLoss中添加了LogSoftmax以及 NLLLoss  


  


  


 ，因此不用在网络的最后添加 softmax和argmax 将输出结果转换为整型


     


     


     

。 使用每一类的概率
 




 




 




。这种标签通常情况下效果比直接使用class进行分类要好一些  
     
     
     ，但在少样本 && 在每一类上使用标签过于严格 的时候


   




   




   




，才推荐使用概率作为标签   

   

   

  。

解决

假设传入torch.nn.CrossEntropyLoss的参数为torch.nn.CrossEntropyLoss(pred, label) 



 



 



，其中pred为模型预测的输出                  ，label为标签 

     

     

     
。

这两个报错都是因为pred输入的维度错误导致的 根据官网文档



    




    




    



，如果直接使用class进行分类














，pred的维度应该是[batchsize, class, dim 1, dim 2, ... dim K]                  ，label的维度应该是[batchsize, dim 1, dim 2, ... dim K]

  




  




  




。注意在网络输出的channel中加入class number

的维度  


  


  


 。不然softmax无法计算



     



     



     


，及model的output channel = class number  
     
     
     。

另














，如果想直接使用class进行分类    
    
    
   ，需要讲label的type转换成long格式：labels = labels.to(device, dtype=torch.long)