CenterPoint是一种anchor free的三维目标检测算法模型    
    
    
    
，发表在CVPR 2021     


     


     


     


     ，论文名称为《Center-based 3D Object Detection and Tracking》    
    
    
    
。其主要特点在于通过预测物体的中心点来进行目标检测和位置回归




 




 




 




 



，而不需要预先产生大量候选框（anchor）     


     


     


     


     。因而
   

   

   

   

，这种方法的后处理更加简洁     

     

     

     

    ，相邻目标可通过直接选择热力图中心点来确定最终目标 




  




  




  




  


，不需要非极大值抑制（NMS）操作来合并重叠的候选框




 




 




 




 



。但这也会带来一个缺点

  


  


  


  


，CenterPoint无法区分同类型且中心点接近的目标
   

   

   

   

。CenterPoint可看作是二维CorneNet和CenterNet到三维空间的一个扩展     

     

     

     

    。因此     
     
     
     
   ，了解CornerNet和CenterNet模型有利于加深对CenterPoint的理解 




  




  




  




  


。CenterPoint和CenterNet来源于同一个课题组的研究成果

  


  


  


  


。在nuScenes数据集的3D检测和跟踪任务中  




   




   




   




   

，单阶段的CenterPoint模型的NDS为65.5


 



 



 



 



，AMOTA为63.8     
     
     
     
   。

1 源码与输入数据

        接下来介绍的源码来源于mmdetection3d框架中的CenterPoint模型  




   




   




   




   

。mmdetection3d安装和调试验证可参考本专栏之前的博客【mmdetection3d】mmdetection3d安装详细步骤_Coding的叶子的博客-CSDN博客_mmdetection3d安装                      ，里面有详细介绍


 



 



 



 



。

        数据采用的是nuScenes数据集   




    




    




    




    
，完整版和Mini版均可                      。NuScenes数据集详细介绍请参考博文：nuScenes数据集详细介绍_Coding的叶子的博客-CSDN博客_nuscence数据集   




    




    




    




    
。

2 mmdetection3d nuScenes数据处理与模型训练

        mmdetection3d NuScenes处理过程请参考博文：mmdetection3d nuScenes （持续更新）_Coding的叶子的博客-CSDN博客























。

        完整版NuScenes处理命令为：

python tools/create_data.py nuscenes --root-path ./data/nuscenes --out-dir ./data/nuscenes --extra-tag nuscenes

        Mini版NuScenes处理命令为：

python tools/create_data.py nuscenes --version v1.0-mini --root-path ./data/nuscenes --out-dir ./data/nuscenes --extra-tag nuscenes

        在进行程序研究或调试时























，建议直接采用Mini 版NuScenes                     ，下载速度较快且占用存储空间较小                     。mmdetection3d NuScenes数据集预处理完成之后    



     



     



     



     ，运行下述命令即可开始CenterPoint训练    



     



     



     



     。

python tools/train.py configs/centerpoint/centerpoint_0075voxel_second_secfpn_4x8_cyclic_20e_nus.py

3 CenterPoint简介

        CenterPoint模型的整体结构如下图所示
























，由最初的一阶段模型扩展为了两阶段模型
























。第二阶段负责对第一阶段的检测结果进行微调修正    
    
    
    
，与基于候选框的两阶段目标检测思想基本一致    
    
    
    
。这里重点介绍CenterPoint的第一个阶段     


     


     


     


     ，并且单阶段的CenterPoint可直接完成对三维目标的检测     


     


     


     


     。

图1 CenterPoint模型结构

        CenterPoint模型的关键数据和路径包含如下几个方面




 




 




 




 



。带着这几个关键点来深入理解算法程序时效率会大大提高
   

   

   

   

。

3.1 输入数据

        输入数据来源于nuScenes的顶部激光雷达点云数据     

     

     

     

    。点云数据包含了空间三维坐标x    
    
    
    
、y     


     


     


     


     、z




 




 




 




 



、雷达反射强度和雷达线束序号




 




 




 




 



，共5个维度 




  




  




  




  


。线束序号取值范围0~31
   

   

   

   

，即雷达的32线

  


  


  


  


。数据包括10个类别     

     

     

     

    ，分属6个大类 




  




  




  




  


，如下所示     
     
     
     
   。

[[car],  [truck, construction_vehicle],  [bus, trailer],  [barrier],  [motorcycle, bicycle],  [pedestrian, traffic_cone]]

3.2 真实标签

        真实标签主要包括中心偏移（dx
   

   

   

   

、dy）     

     

     

     

    、高度（z） 




  




  




  




  


、尺寸对数（log(size_x)

  


  


  


  


、log(size_y)     
     
     
     
   、log(size_z)）  




   




   




   




   

、偏航角正弦值（sin(rot)）


 



 



 



 



、偏航角余弦值（cos(rot)）                      、速度（vx   




    




    




    




    
、vy）和热力图（heatmap）  




   




   




   




   

。

        每个热力图检测一个小类目标

  


  


  


  


，即场景中相同类型目标的中心由同一个特征图来预测


 



 



 



 



。因此     
     
     
     
   ，在计算热力图的真实标签时  




   




   




   




   

，同一类型多目标的高斯热力图可能会出现重叠


 



 



 



 



，重叠时保留最大值                      。另一方面                      ，在预测时   




    




    




    




    
，如果相邻的预测中心点其热力图峰值也相近























，而后处理直接以最大取值作为最终预测结果   




    




    




    




    
。因此                     ，CenterPoint无法区分同类型且中心点接近的目标























。

3.3 模型推理

        CenterPoint模型推理过程如下：

输入点云通过体素化和稀疏卷积特征得到256x180x180特征图    



     



     



     



     ，尺度为180x180
























，特征维度为256                     。 特征图通过Second主干网络和Neck拼接得到512x180x180维特征    



     



     



     



     。 由于输入数据被分为了6个大类    
    
    
    
，且每个热力图仅预测一类目标     


     


     


     


     ，因而模型预测任务也被分为6个Head
























。每个Head分别预测相应类别目标的位置偏移（reg




 




 




 




 



，2x180x180）























、高度（height
   

   

   

   

，1x180x180）                     、尺寸（dim     

     

     

     

    ，3x180x180）    



     



     



     



     、偏航角（rot 




  




  




  




  


，2x180x180）
























、速度（vel

  


  


  


  


，2x180x180）    
    
    
    
、热力图（heatmap     
     
     
     
   ，Kx180x180）    
    
    
    
。其中  




   




   




   




   

，热力图维度中的K表示每个大类下的子类别个数


 



 



 



 



，进步确定一个热力图只能预测一个类别     


     


     


     


     。

        模型推理预测的结果与真实标签一一对应




 




 




 




 



。热力图的损失函数为GaussianFocalLoss
   

   

   

   

。其它预测值的损失函数为L1Loss                      ，并且速度损失权重为0.2   




    




    




    




    
，其它权重均为1.0     

     

     

     

    。

4 模型结构与代码详解

        模型详细结构及推理过程请参考下一篇博客：【三维目标检测】CenterPoint（二）_Coding的叶子的博客-CSDN博客 




  




  




  




  


。

5【python三维深度学习】python三维点云从基础到深度学习_Coding的叶子的博客-CSDN博客_三维点云深度学习