1. 概要

TVCG 2021期刊
代码：https://github.com/nini-lxz/Rotation-Invariant-Point-Cloud-Analysis

2. 动机

现阶段方法的共同问题就是：旋转不变性没有被保证
所以所提出的方法就是保证了这一点。

使用一个低层语义的 旋转不变性的表达 来替代 3D笛卡尔坐标输入，有点类似使用手工设计的具有旋转不变性的特征拿给网络学最优的过程。

3. 方法

3.1 常用方法特征提取$A$

基于全局特征$G_i$+局部特征$L_{ij}$ + 非线性函数$h_{\theta }$
其中$A$是对称函数。

3.2 旋转不变性

一个框架具有旋转不变性 = 网络输入具有旋转不变性（其实是对输入点云提取了具有旋转不变性的表达来代替原始点云作为输入） + 操作子具有旋转不变性

网络输入设计

考虑一下4点：

1. 亦即无论输入点云$S$如何变换，提取到的具有旋转不变性的表达是保持不变的。设提取旋转不变性的函数为$\Phi$，那么需要满足：
   
   这里的R指的是在3D坐标当中进行任意旋转。
2. 满足公式（2）中简单使用L2距离或相对角度作为输入太过于粗糙，且信息有所丢失；
3. 不会产生歧义性，也即不同局部区域都有各自的旋转不变性表达；
4. 需要抗噪；

网络架构设计

考虑一下两点：

1. 网络框架不能包含任何的旋转变性的操作，例如不可以指定顺序
2. 网络框架不包括点云坐标，而只是相关几何信息，例如距离角度等作为输入；

3.3 卷转不变性表达

1. 预处理：
   首先对输入点云$S$进行归一化，在单元球体。
   然后使用PointNet++li d query ball 来定义临近点 { p i j } j = 1 K \{ p_{ij}\}^K_{j=1} { pij​}j=1K​，如下图2(a)与(b)。

2. 计算：
   提取特征$G_i$与$p_i$的局部特征 { L i j } j = 1 K \{L_{ij}\}^K_{j=1} { Lij​}j=1K​。整体特征如图3所示：
   

   全局特征$G_i$: 包含5个部分，如图2 (a)&(b)所示
   

   1). $d_{pi}=||p_i|{|}^2$: $p_i$简单的全局且具有旋转不变性的特征
   2). $d_{p{m}_i}$ : $p_i$与$p_i^{\prime }$的局部距离为$m_i$,选用几何中值。
   3)–5): $d_{s{m}_i}$作为最后三个部分。其中，定位 $s_i$ +临近点与原点$p_i$延伸线的交集 + 三角形$p_i-m_i-s_i$。在本文的设置中，半径大小随着网络层级而增加。

   局部特征：7个部分，如图2中所示
   
   

3.4 整体网络框架

总共3层，
黄色框：提取的旋转不变性特征
绿色框：点云坐标
紫色框：最远距离采样
蓝色框：嵌入到网络里的特征

第一层：

1. 使用PointNET++的方式，采样并分组。使用最远点采样，每个子集$N_1个点$
2. 使用query ball找$K_1$个近邻，构建大小为$N_1\times K_1\times 3$的体素，作为$S_1^G$
3. 同步做两件事情：
   （1）提取旋转不变性特征$I_1$（黄色框），
   （2）计算其全局关联矩阵$R_1$（黄色方框）。
4. 同时将3中的$I_1$和$R_1$都输入给区域关系卷积（橘色框）来获取特征$F_1$(蓝色框)

第二层：
5. 继续采样分析到更小的区域$S_2^G$
6. 将第一层的特征与采样后的点进行拼接，形成第特征$F_2^G$;这里$N_2<N_1$，$K_2>K_1$可以允许渐进扩大感受野。
7. 然后拼接$F_2^G$ 与$F_2^I$，是为了消除信息损失， $I_2$是多层感知器获得的高层语义特征；
8. 最后生成拼接的特征$F_2^C$。，最终联合关联性矩阵$R_2$得到第二层特征$F_2$。

第三层：
9. 继续采样分组，得到$S_3^G$
10.类似第二层的操作得到特征$F_3^C$
11. 使用多层感知器，然后maxpooling到最终的特征$F_3$

其中， Region Relation Convolution计算如图5:本质上也就类似一个attention操作吧。

4. 实验

分类准确率：看上去还是不错的

表2：
z/SO3: 训练集有z轴旋转增强，测试集是任意旋转；
z/z: 训练与测试都有关于z轴的旋转增强
SO3/SO3: 训练与测试都是任意旋转；
说明了提出方法的稳定性？

表3：
NR/NR：训练测试都是旋转
NR/AR：训练：无旋转；测试：任意旋转
两者效果无差，为什么呢？其实是因为提出方法本来就是针对旋转不变性的，所以提取的特征具有这个性能，即使训练集没有针对不同旋转的，理应也有旋转不变性。也说明了该方法具有这个性能。

可视化的效果：

分割效果图：

消融实验：

5. 局限性

方法简单，效果欠佳；
其实针对噪声的处理有限；
还是依赖于手工设计的这个具有旋转不变性的特征，是否针对所有物体都有效，存疑。