基于深度学习的3D点云分类和分割 PointNet系列丨【百变AI秀】

前言

PointNet是直接对点云进行处理的，它对输入点云中的每一个点，学习其对应的空间编码，之后再利用所有点的特征得到一个全局的点云特征。Pointnet提取的全局特征能够很好地完成分类任务，但局部特征提取能力较差，这使得它很难对复杂场景进行分析。

PointNet++核心是提出了多层次特征提取结构，有效提取局部特征提取，和全局特征。

​

一、PointNet

PointNet是直接对点云进行处理的，它对输入点云中的每一个点，学习其对应的空间编码，之后再利用所有点的特征得到一个全局的点云特征。

 论文地址：PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation

开源代码-原论文实现：https://github.com/charlesq34/pointnet

开源代码-Pytorch实现：https://github.com/fxia22/pointnet.pytorch

1.1 PointNet思路流程

1）输入为一帧的全部点云数据的集合，表示为一个nx3的2d tensor，其中n代表点云数量，3对应xyz坐标。

2）输入数据先通过和一个T-Net学习到的转换矩阵相乘来对齐，保证了模型的对特定空间转换的不变性。

3）通过多次mlp对各点云数据进行特征提取后，再用一个T-Net对特征进行对齐。

4）在特征的各个维度上执行maxpooling操作来得到最终的全局特征。

5）对分类任务，将全局特征通过mlp来预测最后的分类分数；对分割任务，将全局特征和之前学习到的各点云的局部特征进行串联，再通过mlp得到每个数据点的分类结果。

1.2 PointNet网络结构

它提取的“全局特征”能够很好地完成分类任务。下面看一下PointNet的框架结构：

​

下面解释一个网络中各个部件的作用。

1）transform：

第一次，T-Net 3×3 ，对输入点云进行对齐：位姿改变，使改变后的位姿更适合分类/分割。

第二次，T-Net 64×64 ，对64维特征进行对齐。

2）mlp：多层感知机，用于提取点云的特征，这里使用共享权重的卷积。

3）max pooling：汇总所有点云的信息，进行最大池化，得到点云的全局信息。

4）分割部分：局部和全局信息组合结构(concate,语义分割)

5）分类loss:交叉熵，分割loss:分类+分割+L2(transform,原图的正交变换)

1.3 T-Net网络结构

将输入的点云数据作为nx3x1单通道图像，接三次卷积和一次池化后，再reshape为1024个节点，然后接两层全连接，网络除最后一层外都使用了ReLU激活函数和批标准化。

1.4 模型效果

ModelNet40 上的分类结果：

​

ShapeNet部分数据集上的分割结果：

不足：缺乏在不同尺度上提取局部信息的能力

 二、PointNet++

Pointnet提取的全局特征能够很好地完成分类任务，由于模型基本上都是单点采样，代码底层用的是2Dconv，只有maxpooling整合了整体特征，所以局部特征提取能力较差，这使得它很难对复杂场景进行分析。

PointNet++核心是提出了多层次特征提取结构，有效提取局部特征提取，和全局特征。

论文地址：PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space

开源代码地址：GitHub – charlesq34/pointnet2: PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space

2.1 思路流程

先在输入点集中选择一些点作为中心点，然后围绕每个中心点选择周围的点组成一个区域，之后每个区域作为PointNet的一个输入样本，得到一组特征，这个特征就是这个区域的特征。