当前位置:网站首页>8、Mip-NeRF
8、Mip-NeRF
2022-08-11 07:26:00 【C--G】
简介
《Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields》
NeRF能在新的视图位置上生成逼真的渲染图,但是必须在训练图像的分辨率或比例的基础上生成,上图a中将相机拉回并放大(降低图像分辨率),这导致了渲染显示严重的混叠。
上图b将不同分辨率的图像放入NeRF中训练,虽然一定程度上改善低分辨率问题,但是高分辨情况拉跨了
图c中Mip-NeRF很好的解决了这个问题
论文思路
我们知道NeRF是通过穿过图像像素的一条射线进行积分,在射线上采样的是一个一个的点。那么我们多发射几条光线,提高采样率,在一定程度上能够解决锯齿化问题,但是计算量也大大增加,论文作者就提出使用圆锥体取代光线的方法
Mip-NeRF采用多元高斯坐标逼近锥形积分,然后在高斯坐标的位置编码上计算(封闭形式)积分E(γ(x)]。那么传统的位置编码就不适用了,论文提出集成的位置编码(IPE) an integrated positional encoding,是对NeRF的位置编码(PE)的一种推广,它允许一个空间区域被紧凑地特征化featurized,而不是空间中的单个点。
圆锥截台对应的区域表示
o为圆锥中心,d为法向量,r为圆锥半径(设置为世界坐标中按2/√12的像素的宽度),l{·}为指标函数,表示当x \mathbf{x}x位于F(…)定义的圆锥范围内时对上式进行取值
如果对上面这样一个特征集合求解位置编码时,位置编码转换为积分形式
上述式子,分子中的积分没有封闭形式的解,目前尚不清楚如何有效地计算这样一个特征,作者采用多元高斯近似,允许一个期望的有效近似特征
为了用多元高斯分布近似conical frustum,我们必须计算F(x,·)的均值和协方差。因为每个conical frustum被假定为圆形的,并且因为conical frustum是围绕锥轴对称的,这种高斯分布完全由三个值来表征(除了o和d)
其中t μ = ( t 0 + t 1 ) / 2 ,t δ = ( t 1 − t 0 ) / 2,以上在[ t 0 , t 1 ] 范围内的圆锥的局部坐标系建立的多元高斯分布,接着通过如下变换可以将其转换到世界坐标系下,如下所示
原始的位置编码表达为
通过均值和方差的传递规则,计算出多元高斯分布经过位置编码后的表达式
最后一步就是根据上述的多元高斯分布计算期望,当x ∼ N ( μ , σ 2 ) ,则sin ( x ) 和cos ( x ) 期望的的闭式解为
IPE的期望就为
由于位置编码是对每一维进行独立的,因此计算上述期望时只需要取每一维的方差,也就是协方差矩阵的对角线元素
其中
从上面的推导可以看出来,基于高斯分布的建模,最后从确定采样点到最后输出Integrated Positional Encoding的值中间也是一些简单的加减乘,因此Integrated Positional Encoding相对于本来的Positional Encoding并没有增加太多计算量,如下图所示
由于Position Encoding对所有的采样点都使用的同样的处理方式,因此在高频部分容易产生混淆,如上左图所示,无论高频低频经过Positional Encoding后输出高频部分有很多相似的蓝色,而Integrated Positional Encoding则可以避免这一问题,对于相对低频的输入经过Integrated Positional Encoding后输出高频部分趋近于0,也就是上右图中的白色,因此就避免了高频混淆。这也就是Mip-NeRF效果好的原因,如下对比图所示
边栏推荐
- JRS303-数据校验
- 易观分析联合中小银行联盟发布海南数字经济指数,敬请期待!
- Use tf.argmax in Tensorflow to return the index of the maximum value of the tensor along the specified dimension
- JUC并发编程
- 1002 写出这个数 (20 分)
- 3.1-Classification-probabilistic generative model
- 1056 组合数的和 (15 分)
- 1091 N-Defensive Number (15 points)
- 2022-08-10 mysql/stonedb-慢SQL-Q16-耗时追踪
- 6月各手机银行活跃用户较快增长,创半年新高
猜你喜欢
Write a resume like this, easy to get the interviewer
我的创作纪念日丨感恩这365天来有你相伴,不忘初心,各自精彩
1003 I want to pass (20 points)
go-grpc TSL认证 解决 transport: authentication handshake failed: x509 certificate relies on ... ...
【Pytorch】nn.Linear,nn.Conv
2.1-梯度下降
Pico neo3 Unity Packaging Settings
The easiest trick to support quick renaming of various files
1051 Multiplication of Complex Numbers (15 points)
数仓开发知识总结
随机推荐
求职简历这样写,轻松搞定面试官
1.1-回归
4.1-支持向量机
1.2 - error sources
1046 punches (15 points)
tf.cast(),reduce_min(),reduce_max()
Unity开发者必备的C#脚本技巧
Four states of Activity
Tf中的平方,多次方,开方计算
1096 big beautiful numbers (15 points)
经典论文-MobileNet V1论文及实践
1002 Write the number (20 points)
redis operation
基于微信小程序的租房小程序
详述MIMIC 的ICU患者检测时间信息表(十六)
查找最新人员工资和上上次人员工资的变动情况
2022年中国软饮料市场洞察
【Pytorch】nn.Linear,nn.Conv
支持各种文件快速重命名最简单的小技巧
Do you know the basic process and use case design method of interface testing?