清库存系列

1. 概要

题目：FoldingNet: Point Cloud Auto encoder via Deep Grid Deformation (CVPR’18 spotlight)
论文：https://openaccess.thecvf.com/content_cvpr_2018/papers/Yang_FoldingNet_Point_Cloud_CVPR_2018_paper.pdf
补充材料：https://openaccess.thecvf.com/content_cvpr_2018/Supplemental/1129-supp.pdf
代码：https://www.merl.com/research/license#FoldingNet
简述： 基于2D纸折叠的思想产生3D物体

后续延伸：

1. FoldingNet++
2. Real-time Soft Robot 3D Proprioception via Deep Vision based Sensing

类似工作：
AtlasNet, 其是使用multiple grid块来初始化2D grid。

2. 动机

神经网络能否学习纸的折叠呢？
3D点云数据大部分来源于物体表面小区域可以看成是2D流体，可以通过2D经过一系列变换获取得到。

3. 思想

整体框架：主设计解码器

主要是设计了解码器，Encoder直接使用PointNet部分和简单图思想。

简单来讲，就是把隐码复制了N份，然后与2D的网格进行拼接，形成Nx（D+K）维度的隐码，通过学习获得有位置信息的点云。

其实可以简单理解成为几何当中的一个定义：自然界里的高维数据可以表示为低维非线性的流形。这里就运用这个思想将三维点云认为是二维的流形，那么二维里面就用一个简单的网格来模拟。所以其受限在只可以模拟3D中没有环出现的情况，有环的出现时就不行了。所以才有了后面FoldingNet++的出现用来解决有环出现的情况。

基于图的编码器Encoder

编码器 = 多层感知器 + 基于图的最大池化层，两者拼接在一起形成编码器；

图的构成：16-KNN， 对于每个点，计算器的局部协方差矩阵，使用$3\times 3$核计算，然后将其向量化为$1\times 9$，所以输入$n\times 3$–>$n\times 9$。两者拼接起来就是$n\times 12$.

假设KNN图的邻接矩阵是A，输入是X。则输出矩阵为公式（2），其中K是特征映射矩阵，每一个输入则是公式（3）。公式（3）计算局部特征表达，一定的拓扑性。

基于Folding的解码器Decoder

解码器：使用2个连续的3层感知器+ 2D grid。
输入： 复制了m份的特征，每份特征512维度来自编码器 + 复制了m份的2D grid，每份2维特征 = $m\times 514$.
这里的grid使用正方形，m=2025，输入点数n=2048。

那么什么叫做Folding操作呢？
就是整个解码器的这样的操作。也就是，复制了码字与2D grid的拼接经过一个基于点的多层感知器就叫做Folding操作。

使用两个三层感知器的作用？

1. 第一个是从2D grid 到3D 空间的Folding操作；
2. 第二个是在3D空间仅Folding操作，产生最终的surface。

理论分析：
假定2Dgrid输入是矩阵$U$,由编码器输出的码字为$\theta$，矩阵每一行为$u_i$
通过拼接与MLP后，可以看成是$f([u_i,\theta ])$，该公式可以看成是通过码字$\theta$对高维函数的重参数化，由于MLP可以接近于非线性，自然可以进行folding操作。

4. 实验结果

训练的可视化结果：

形状插值：

6. 参考