问题描述

使用MMdetection复现论文swin Transformer 
    
    
    
    
    
    
，显示错误：ERROR:The testing results of the whole dataset is empty


     


     


     


     


     


     


，与此同时 




 




 




 




 




 




 ，各项评价指标如AP,AR结果趋于零 

   

   

   

   

   

   
，F1值变成-1
     

     

     

     

     

     

，loss与grad_norm爆炸增加  




  




  




  




  




  




 ，具体情形如下图：

图1： 图2： 图3：

问题分析

看到报错的第一眼 


  


  


  


  


  


  
，猜测可能是数据集的问题
     
     
     
     
     
     
，所以检查了数据集的路径   




   




   




   




   




   




 ，然后检查了数据集里面是否有图片 



 



 



 



 



 



 
，但经过一番验证                              ，排除了这种可能性 
    
    
    
    
    
    
。如果数据集本身有问题
    




    




    




    




    




    




 ，代码一开始就无法运行起来






























，因为mmdet一定会报错                               ，而且报错内容是：找不到数据集或者说找不到某张图片
     


     


     


     


     


     


。

再仔细观察报错：ERROR:The testing results of the whole dataset is empty,拿不到测试结果
     



     



     



     



     



     



 ，结合爆炸的loss与grad_morm,我有理由怀疑是梯度爆炸或者梯度消失所导致的 




 




 




 




 




 




 。有了这个猜测





























，我回头审视自己的代码 
    
    
    
    
    
    
，最有可能导致梯度爆炸的超参数就是学习率lr
     


     


     


     


     


     


，是不是我自己设置的学习率lr不合适

？

学习率是啥？

学习率是梯度下降多次迭代过程中 




 




 




 




 




 




 ，用来控制模型学习进度的超参数 

   

   

   

   

   

   
。可以这么理解 

   

   

   

   

   

   
，学习率大就学的快（梯度下降块）
     

     

     

     

     

     

，学习率小就学得慢  




  




  




  




  




  




 ，但学习率并非越大越好 


  


  


  


  


  


  
，学习率过大
     
     
     
     
     
     
，容易造成梯度爆炸或者消失
     

     

     

     

     

     

。

解决办法

MMdetection默认的学习率   




   




   




   




   




   




 ，大多都是0.02 



 



 



 



 



 



 
，如果不刻意更改                              ，模型会使用这个学习率去训练
    




    




    




    




    




    




 ，swin Transformer没办法在lr=0.02条件下训练






























，将学习率更改为论文设定的0.0001                               ，模型就正常训练  




  




  




  




  




  




 。

在MMdetection中
     



     



     



     



     



     



 ，学习率的调整是在目录：configs/base/schedules/schedule_1x.py

文件中：

学习率调整后的正常的训练结果：