问题描述

使用MMdetection复现论文swin Transformer 
    
    
    
    
    ，显示错误：ERROR:The testing results of the whole dataset is empty


     


     


     


     


     


，与此同时 




 




 




 




 




，各项评价指标如AP,AR结果趋于零 

   

   

   

   

   ，F1值变成-1
     

     

     

     

     

，loss与grad_norm爆炸增加  




  




  




  




  




，具体情形如下图：

图1： 图2： 图3：

问题分析

看到报错的第一眼 


  


  


  


  


  ，猜测可能是数据集的问题
     
     
     
     
     
，所以检查了数据集的路径   




   




   




   




   




，然后检查了数据集里面是否有图片 



 



 



 



 



 ，但经过一番验证                         ，排除了这种可能性 
    
    
    
    
    。如果数据集本身有问题
    




    




    




    




    




，代码一开始就无法运行起来
























，因为mmdet一定会报错                          ，而且报错内容是：找不到数据集或者说找不到某张图片
     


     


     


     


     


。

再仔细观察报错：ERROR:The testing results of the whole dataset is empty,拿不到测试结果
     



     



     



     



     



，结合爆炸的loss与grad_morm,我有理由怀疑是梯度爆炸或者梯度消失所导致的 




 




 




 




 




。有了这个猜测
























，我回头审视自己的代码 
    
    
    
    
    ，最有可能导致梯度爆炸的超参数就是学习率lr
     


     


     


     


     


，是不是我自己设置的学习率lr不合适

？

学习率是啥？

学习率是梯度下降多次迭代过程中 




 




 




 




 




，用来控制模型学习进度的超参数 

   

   

   

   

   。可以这么理解 

   

   

   

   

   ，学习率大就学的快（梯度下降块）
     

     

     

     

     

，学习率小就学得慢  




  




  




  




  




，但学习率并非越大越好 


  


  


  


  


  ，学习率过大
     
     
     
     
     
，容易造成梯度爆炸或者消失
     

     

     

     

     

。

解决办法

MMdetection默认的学习率   




   




   




   




   




，大多都是0.02 



 



 



 



 



 ，如果不刻意更改                         ，模型会使用这个学习率去训练
    




    




    




    




    




，swin Transformer没办法在lr=0.02条件下训练
























，将学习率更改为论文设定的0.0001                          ，模型就正常训练  




  




  




  




  




。

在MMdetection中
     



     



     



     



     



，学习率的调整是在目录：configs/base/schedules/schedule_1x.py

文件中：

学习率调整后的正常的训练结果：