综述：

1.点视图：

• PointNet/PointNet++，Point-RCNN，3D SSD

2.俯视图：

• VoxelNet，SECOND，PIXOR，AFDet

3.前视图:

• LaserNet，RangeDet

4.多视图融合：

• 俯视图+点视图：PointPillar，SIENet，PV-CNN
• 俯视图+前视图：MV3D，RSN

一、PointNet

1.核心思路：点云特征提取

• MLP（多个全连接层）提取点特征:n个点，特征由3维提升到1024维

• MaxPooling得到全局体征：1024维

2、端对端学习，对点云进行分类/意义分割

3、物体检测：Clutering（聚类）得到候选+PointNet分类

输入的数据，先对点云做一个变换，把坐标系统一，点云在一个坐标系之下，然后对点进行单点特征提取，这里使用的是全连接层，两个阶段的全连接层，使特征从3维提升到1024维。随后进行全局的特征提取，利用MaxPooling，最后对其进行点云分类（SVM）或者点云分割

二、PointNet++

1.在物体检测方向上进行扩展：Clustering+PointNet

• 用聚类的方式来产生多个候选点，每个候选点集采用PointNet来提取点的特征
• 上述过程重复多次：上一层的点集经过全集特征提取后看作下一层的点（Set Abstraction，SA）
• 点特征具有较大的感受野，包含周围环境的上下文信息

三、PointNet和PointNet++中存在的问题

• 无法利用视觉领域成熟的检测框架，比如Faster-RCNN，YOLO等
• Clustering部分的计算复杂度较高，而且难以并行处理

四、Point-RCNN

1.点处理+Faster RCNN

• PointNet++提取点的特征，同时进行前景分割， 以区分物体点和背景点
• 每个前景点生成一个3D候选框（PointNet++采用聚类生成候选框）
• 对每个候选框内的点进行Pooling，最后输出候选框所属的类别，并修正其位置和大小

2.运行速度瓶颈

• PointNet++需要将点集特征映射回原始点云（Feature Propation），因为聚类生成的点集无法很好的覆盖所有物体
• 全局搜索属于每个物体候选的点

五、3D SSD

1.提高聚类的质量

• 同时考虑点与点之间在几何和特征空间的相似度
• 聚类的输出可以直接用来生成物体候选

2.避免重复计算

• 聚类算法输出每个点cluster的中心和领域点
• 避免全局搜索物体候选和点之间的匹配关系

六 、总结和对比

• PointNet++的主要问题就是运行速度太慢
• 速度的瓶颈在于聚类过程中需要将点集特征映射回原始点云
• Point RCNN和3D SSD的改进主要在于提高运行速度

ntNet++的主要问题就是运行速度太慢

• 速度的瓶颈在于聚类过程中需要将点集特征映射回原始点云
• Point RCNN和3D SSD的改进主要在于提高运行速度