1. 概要

虞晶怡团队作品，CVPR2020，神经渲染系列
论文地址：https://openaccess.thecvf.com/content_CVPR_2020/papers/Wu_Multi-View_Neural_Human_Rendering_CVPR_2020_paper.pdf
项目地址：https://wuminye.github.io/NHR/
数据集：https://wuminye.github.io/NHR/datasets.html

2. 动机

专门针对人体渲染端到端框架（NHR）：用点云中PointNet++来提取3D特征 +投射到2D的平滑的CNN来处理噪声和残缺。本质上还是引入了点云来指导渲染的方法。

3. 方法

流程图

整体框架

包括三个模块：

1. 特征提取（FE）
2. 投影与光栅化（PR）
3. 渲染（RE）
   

模块1：特征提取（FE）

${\Psi }_{fe}$: PointNet++特征提取操作，去除分类分支，仅保留分割分支作为FE的分支。
$D_t$：点云的特征描述子
$V=v_i$:归一化的视角方向， $v^i={\frac{p_t^i-o}{||p_t^i-o||}}_2$， 其中$o$是目标视角相机的投射中心。
{ . } \{.\} { .}:表示拼接，这里指的是拼接颜色和归一化后的点的视角方向，拼接后的特征作为初始化点属性来进行特征提取。
${\phi }_{norm}$表示点坐标经过了归一化。

模块2：投影与光栅化（PR）

$S$: 投射后的2D特征图，其中$S_{x,y}=d_t^i$，$d_t^i$是第$i$个点的特征描述子。
$E$: 当前视角的深度图
$目标相机参数$：$\hat{K}$、$\hat{T}$
$可学习的参数$： ${\theta }_d$
${\psi }_{pr}$：整个投影与光栅化过程

模块3： 渲染（RE）

${\psi }_{render}$: 改进版的U-Net，输出4通道，前三通道是RGB图像$I\ast$，最后一通道是mask是$M\ast$，使用sigmoid。

训练损失

L1损失+ 感知损失

$n_b$：batch_size大小
$I_i\ast$、$M_i\ast$: 第$i$个渲染输出的图和mask。
${\psi }_{vgg}$:分别提取第2层和第4层VGG-19的特征

几何改进

为了细化几何，渲染了一组密集的新视图，并使用生成的遮罩mask作为轮廓，并给予空间雕刻或轮廓形状进行重建。

由于多视角的立体输入（其实也就是粗糙的点云输入）可能会有空洞的地方或者遮挡的区域。

Mask 与形状生成 ：通过训练渲染模型得到类似于RGB抠图，然后在一个统一采样的新视点集合上去渲染mask，每个都有对应的相机参数，大小为800x600。 随后，可以使用shape-from-silhouettes(SfS)来重构人体mesh。

点采样和上色：可以通过在MVS上的点云来计算对应颜色，用最近邻。

洞补全：
补全块机制：对于每个点$u_t^i\in U_t$，其与$P_t$中的$p_t^i$点的欧氏距离$\varphi (u_t^i,p^i)t)$要比${\hat{P}}_t-U_t$大。于是设置阈值${\tau }_1$如公式（5）：实验当中设置为0.2

接着计算$\widehat{P_t}$当中到$p_t^j$的 欧式距离<阈值的点数，记做 s t i = # { b t i ∣ b t i < τ 1 } s^i_t=\#\{b^i_t|b^i_t<\tau_1\} sti​=#{ bti​∣bti​<τ1​}

然后使用15个bins计算$s_t^i$的所有直方图，通过平分最大距离值得到15个bins。由于观察到在第一个bin当中包含了比第二个更重要的点，因此使用第一个bin的最大距离作为第二个阈值：${\tau }_2$来选择最后的点值：

下图可以说明使用了洞补全后，可以减轻更换视角点时出现的闪烁情况。
注意：最终的集合依然会有伪像，由于其的质量取决于阈值$\tau$

该图更加直观的现实了如何设置阈值，以及距离衡量。

4. 实验

数据集

通过80多个相机系统收集了5个序列。每秒25帧。所有序列在8-24秒。 人物穿不同的衣服来做不同的动作。
每个序列包括：RGB图像、前景mask，RGB点云序列和相机校准。

实验效果：

该实验表明，充分利用点云与图像一起操作的好处。

在5个数据集上的效果对比：

可视化了点云特征图里的颜色部分：

5. 总结

本质上也是采用了粗糙的点云+ 好的图片+ 一些几何小技巧来获得不错的效果。