1. 概要

2020 PAMI期刊内容
项目地址：https://wuminye.github.io/NOPC/

涉及相关内容：基于图像的渲染（IBR）、神经渲染、抠图
特点：结合了点云来增强渲染效果
虞晶怡团队作品

2. 动机

传统的基于图像的不透明外壳（Image-Based Opacity Hull, IBOH）技术会因采样不足而导致伪影和叠影。通过使用高质量的几何可以缓解该问题，但是对于毛绒物体来说，获取真实准确的几何外观仍是一项巨大挑战。这类物体包含成千上万根毛发纤维，由于纤维极细且无规律地相互遮挡，它们表现出很强的与视角相关的不透明度，这种不透明度信息很难在几何形状和外观上进行建模，哪怕使用最新的3D扫描仪，而无法完全获得。

研究人员提出的渲染方法能够将基于图像的渲染（IBR）与神经网络渲染（Neural Rendering）结合，以渲染对象的粗糙点云作为输入，使用相对稀疏视点下拍摄的图像数据，渲染出毛绒物体在自由视角下逼真的外观和准确的不透明度。该研究同时提出了一种用于拍摄采集真实毛绒物体数据的拍摄系统。 实现了自由视角下毛绒物体的高质量渲染。即使使用低质量不完整的三维点云，也可以生成逼真的渲染。

3. 方法

算法流程示意图：

如下图。从点云$P$当中，学习到其对应的特征$F$。为了适配到新的视角$V$，我们将$P$和$F$投射到$V$上来构建视角独立的特征图$M$。所提出的多分支框架将$M$映射到$V$的RGB图像和一个alpha通道上。网络可以通过使用GT RGB图和alpha通道来实现端到端的训练。
公式描述如下：

点云表示： P = { p i ∈ R 3 } i = 1 n p P=\{\mathbf{p}_i \in \mathbb{R}^3\}^{np}_{i=1} P={ pi​∈R3}i=1np​
特征表示： F = { f ∈ R m } i = 1 n p F =\{\mathbf{f}\in \mathbb{R}^m\}^{np}_{i=1} F={ f∈Rm}i=1np​， 这里的$np$均指代点数，$n$张图
$\widehat{{\mathbf{I}}_q}$: 第$q$个视角的RGB 图
$\widehat{{\mathbf{A}}_q}$: 第$q$个视角的alpha通道
相机参数：视角$V_q$，${\mathbf{K}}_q$, ${\mathbf{E}}_q$
$\Psi$: 点投射
$R_{\theta }$：神经渲染，用来生成在视角$V_q$的RGB图和alpha通道图。

整体网络框架：

具体来说，NOPC由两个模块组成，如图5：

1. 第一个模块旨在学习每个三维点的特征，该特征编码了三维点周围的局部几何和外观信息。通过将所有三维点及其对应的特征投影到虚拟视角，就可以获得该视角下的特征图；
2. 第二个模块使用卷积神经网络从特征图中解码出该视角下的RGB图像和不透明蒙版。该卷积神经网络基于U-net网络结构，用门控卷积（gated convolution）代替了常规的卷积，以便鲁棒地处理粗糙或破洞的三维几何。同时在U-net 原有的层级结构的基础上，从预测RGB 图像的分支中扩展出新的alpha预测分支，该分支有效地增强了整个网络模型的性能。
   

RGB的编码器和解码器：
U-Net架构+gated 卷积（替代普通卷积）：可以增强去噪和补全的能力
编码器：1个卷积块+4个下采样块（尺寸减半通道双倍）
解码器：4个上采样块（与${\mathbf{M}}_q$大小一致） + 1个卷积块（输出至3通道）

Alpha通道的编码器和解码器：
Alpha通道对于低层特征非常的敏感，例如图像梯度和边缘等。
编码器： 1个卷积块+2个下采样块（仅为RGB编码器通道的2/3）
解码器：alpha编码器+2上采样模块+1个卷积块

数据预处理：

校准：在第$f$个图像上计算第$i$个相机的外参，在每个相机对应的帧，也即一个视角$V_q$.

抠图：为了去除背景

参数说明：
$\epsilon$:0.2
$j$:像素的位置

视角独立的特征图：

给定点云$P$与其特征$F$, 视角$V_q$，中心投影${\mathbf{c}}_q$，已知的相机参数${\mathbf{K}}_q$和${\mathbf{E}}_q$, 则每个点${\mathbf{p}}_i$将投影到：

这里 [x，y，z]为正常三维坐标； [u, v]是${\mathbf{p}}_i$投影后的坐标。

然后根据公式（4）来计算视角独立的特征图${\mathbf{M}}_q$，如公式（5），其有$m+3$个通道。
其中，$\overrightarrow{d_i}=\frac{{\mathbf{p}}_i-{\mathbf{c}}_q}{||{\mathbf{p}}_i-{\mathbf{c}}_q|{|}_2}$， S i = { ( u , v ) ∣ p i 是 在 ( u ， v ) 上 可 视 化 的 点 } S_i = \{ (u,v)| \mathbf{p}_i 是在(u，v)上可视化的点\} Si​={ (u,v)∣pi​是在(u，v)上可视化的点}

梯度损失： = fi + f0的梯度

这里的$\rho (.)$表示仅保留向量前$m$维。

神经不透明渲染

损失函数：

$\Omega ({\mathbf{A}}_q,\mathbf{G})$: 图像I与 G的mask，其中G 是alpha通道A和点云深度图的交集。

4. 实验

NOPC有很广泛的应用场景。它能够用于虚拟现实（VR）和增强现实（AR）内容的采集渲染流程，将带有透明度但不易建模的物体（例如人物头发、毛绒玩具等）在任意虚拟三维场景中逼真地展示。还可以与偶像AR实时合影，偶像的比例大小与位置可以按需求调整，保证了在任意背景下呈现的真实感。

数据采集及处理：

具体数据集请看项目首页的描述
主要数据集：头发、和 皮毛。

实验效果：

5. 总结

Rendering渲染： Good Image + Poor Geometry
Reconstruction重建： Learning based feature，matching，proxy estimation，Optimization
Neural Representation = Neural Modeling + Rendering

那么这篇其实也在告诉我们，差一些的点云+ 好的图片= 就能得到超级多的好图片