cve2019-0708（【BEV】TPVFormer复现以及原理）

1. 前言

在环视图像的网络中
    
    
    
  ，常使用鸟瞰图来进行特征提取     


     


     


     
，尽管比体素表示更加高效 




 




 




 




，但也会损失部分信息

   

   

   

 ，为了解决这个问题     

     

     

     ，TPVFormer论文中提出了三个视图来表示三维特征的方法  




  




  




  




，并且在实验中验证了仅使用图像作为输入


  


  


  


，能够与雷达获得相当的分割效果    
    
    
    
。

本文主要介绍如何在本地运行mini数据集     
     
     
     ，以及生成对应的视频   




   




   




   



，后续会对源码进行深入学习 


     


     


     


  。

mini数据集: https://pan.baidu.com/s/1oKvicVacbPFZNtXO7l9t7A?pwd=p4h4 提取码: p4h4

结果可视化:https://www.bilibili.com/video/BV1oX4y1o7FQ/?spm_id_from=333.999.0.0

BEV交流群



 



 



 



，v群:Rex1586662742
    
    
    
  、q群:468713665

 




 




 




 
。

2. 运行

在TPVFormer的仓库中                   ，作者只针对完整的nuscenes数据集制作了 nuscenes_infos_train.pkl     


     


     


     
、nuscenes_infos_val.pkl    




    




    




    


，对于学习者来说



















，通常无法在完整nuscences数据集上进行测试                  ，在后来的咨询下     



     



     



     

，原作者也是给出了mini数据集的pkl文件



















，通过下文的链接即可获得   

   

   

   

。以及liar文件

2.1 运行eval.py

在整理好数据集后
    
    
    
  ，运行下面的指令就可以进行验证了

python eval.py --py-config xxxx --ckpt-path xxxx

直接运行应该会报错     


     


     


     
，如果报错为 self.table_names 里面没有 “lidarseg    
    
    
    
”,则需要修改如下内容

将/home/snk/anaconda3/envs/tpv/lib/python3.8/site-packages/nuscenes_devkit-1.1.10-py3.8.egg/nuscenes/nuscenes.py文件中的

self.table_names中添加一个变量 ‘lidarseg’ self.table_names = [category, attribute, visibility, instance, sensor, calibrated_sensor, ego_pose, log, scene, sample, sample_data, sample_annotation, map,lidarseg]

同时在附近添加一行代码

self.lidarseg = self.__load_table__(lidarseg)

再次运行

python eval.py --py-config xxxx --ckpt-path xxxx 2.2 vis_scence.py

按照项目中的指示来安装环境可能会有问题 




 




 




 




，可以按照下面的方式来安装

pip install vtk==9.0.1 pip install mayavi==4.7.3 sudo apt update sudo apt install xvfb

安装完毕即可运行生成视频

   

   

   

 ，个人生成的视频见下方的链接  

     

     

     

 。

python visualization/vis_scence ... python visualization/generate_videos.py

如果报错说pyqt5有问题     

     

     

     ，就卸载pyqt5

3 论文简介

3.1 原理学习

一般只用俯视图来计算三维特征  




  




  




  




，而在本文中主要提出了一种表征三维特征的方法


  


  


  


，即提出了tri-perspective view representation(TPV)     
     
     
     ，通过三个方向的特征   




   




   




   



，很容易完成纯视觉的3d分割 




 




 




 




、3d语义分割等



 



 



 



，作者将TPVFormer对标特斯拉的occupancy network


  




  




  




  。TPVFormer的主要流程如下图所示:

输入为6张环视图片                   ，通过Image Backbone    




    




    




    


，可以得到不同尺度的特征层



















，多尺度特征层目前应用十分广泛  


  


  


  


。再通过TPVFormer模块可以获得TPV特征                  ，最终将三个方向特聚合在[100,100,8]的体素中     



     



     



     

，每个体素特征是由三个方向的特征相加得到   
     
     
     
。在训练时



















，使用真实Lidar来监督
    
    
    
  ，在预测时     


     


     


     
，可以输出稠密的体素特征



   




   




   




   。

img_feats = self.extract_img_feat(img=img, use_grid_mask=use_grid_mask) // 提取多尺度特征 outs = self.tpv_head(img_feats, img_metas) # [1, 10000, 256]

   

   

   

 、 [1, 800, 256]     

     

     

     、[1, 800, 256] 三个方向的BEV特征 outs = self.tpv_aggregator(outs, points) # 分割结果

为何要提出三个方向的特征图 




 




 




 




，论文通过下图来进行说明:

如果直接用Voxel来表示三维特征

   

   

   

 ，那么会极大的增加计算量     

     

     

     ，而直接用BEV特征会损失高度上的信息  




  




  




  




，而TPV在前面两者之间进行了折中处理


  


  


  


，在保留不同视图特征的同时     
     
     
     ，极大的减少了计算量 



 



 



 


。因此   




   




   




   



，如何得到TPV特征是本文的重点                   。

上图即第一张图的补充版本



 



 



 



，主要看后半段                   ，TPVFormer可以分为Cross-Attention和HyBird-Attention    




    




    




    


，其中Cross-Attention就是在不同尺度上的特征层做self-atten



















，HyBird-Attention是TPV三个特征之间做self-atten                  ，且全部使用deformable transformer来减少计算量




    




    




    




   。通过TPVFormer之后     



     



     



     

，就得到了TPV特征

















。通过TPV特征



















，即可获得任意一个Voexl在3D空间中的特征
    
    
    
  ，然后利用分割头即可对其分类     


     


     


     
，以达到Occupancy的效果                    。

3.2 结果

4  




  




  




  




、总结

本文介绍了如何在本地进行TPVFormer的运行 




 




 




 




，对论文中的原理图片进行了学习

   

   

   

 ，主要是学习到了文章中是如何进行TPV特征提取     

     

     

     ，以及如何使用TPV特征  




  




  




  




，文章的代码十分友好


  


  


  


，后续会继续对源码进行学习



     



     



     



   。