27、CityNeRF

news/2024/5/4 6:54:31/文章来源:https://blog.csdn.net/weixin_50973728/article/details/126596977

简介

主页：https://city-super.github.io/citynerf/
在这里插入图片描述
CityNeRF能够将城市尺度的3D场景打包到一个统一的模型中，它能够保存从卫星到地面不等尺度的高质量细节。顶部:使用边缘颜色蓝色(L=1)、绿色(L=2)和橙色(L=3)来表示从最远到最近的三个等级，PSNR值显示在每个渲染图像的左上角。下图:CityNeRF甚至可以适应地球尺度的变化。

设计细节点

带有残差块结构的增长模型:通过在每个训练阶段附加一个额外的块来增长模型，而不是单纯地深化MLP网络。每个块都有自己的输出头，预测连续阶段之间的颜色和密度残差，这鼓励块在更近的视图中关注新兴的细节
包含多层次的数据监督:每个块的输出头由最远处尺度到对应尺度的图像进行联合监督。也就是说，最后一个块接受所有训练图像的监督，而最早的块只暴露于最粗尺度的图像

实现流程

在这里插入图片描述
观察NeRF上的伪影(a)在所有尺度上联合训练，(b)在每个尺度上单独训练。渲染图像上的工件用实框突出显示，真实图片显示在侧面。(a)在所有尺度上的联合训练导致近距离观察时纹理模糊，远距离观察时几何不完整;(b)在每个尺度上单独训练，在连续尺度之间产生不一致的几何和纹理。
在这里插入图片描述
(a)城市尺度场景的多尺度数据图解，其中使用L∈{1,2,3，…，}表示每个刻度。在每个阶段，模型与训练集同步增长。(b)随着训练的进行，新的残差块被附加到网络中，由从最遥远的尺度到当前尺度的样本联合进行监督。残差块的结构如虚线框所示。©在不同残差块上获得的细节级渲染结果。由浅到深，细节一点一点地增加

Challenges on City-scale Scenes

远景和近景之间巨大的空间覆盖差异导致了对中心场景内容的偏差，导致渲染图像的质量不一致，这是由于中心区域被摄像机在所有尺度上重复捕捉，而外围区域只被远处的摄像机观察到，虽然每个量表单独训练可以消除这种不一致性，但牺牲了不同量表之间的交流，导致连续量表之间的差异较大

PE中的有效频率通道在一个尺度到另一个尺度上是不同的，显示复杂细节的屋顶近景(L = 3)，低频傅里叶特征(cos(2^{5z))似乎不够，而高频傅里叶特征(cos(2}10z))被激活，以更好地对齐这些细节，远程视点(L = 1)可以很好地用低频傅里叶特征表示，因此高频傅里叶特征被抑制

在训练数据中近距离视角的数量有限，在所有规模上训练的NeRF往往会忽略这些高频场景组件，导致折中解决方案偏向于仅利用低频特征。

Progressive Model with Multi-level Supervision

在这里插入图片描述
(a)不同尺度的视图需要不同的傅里叶特征频率来恢复细节。高频傅里叶特征(如cos(2^{10z))对于近景是必要的，低频傅里叶特征(如cos(2}5z))对于远景就足够了。(b)渐进训练策略在更深的区块(如B3)有效地激活了PE中提供的高频傅立叶特征，而普通的NeRF经常失败，即使在最深的跳跃连接之后。

在这里插入图片描述

论文采用渐进式的方法来建立和训练模型以应对城市尺度场景的多尺度特征带来的不同的样本难度

根据摄像机距离对训练数据进行分割，这近似于场景中物体的分辨率层次。

设置远处的视图(L = 1)，Lmax为被捕获场景预先确定的训练阶段的总数，每个训练阶段都将纳入一个更近的L + 1尺度的视图，记为Lt（t∈1，2，……，Lmax）

这种数据输入方案允许模型在早期训练阶段将更多的精力放在外围区域，从而弥补了样本分布的偏差

同时构建一个粗略的场景布局，自然为后续训练阶段的近距离观察打下基础
在这里插入图片描述

随着训练集的扩展，模型通过添加新的块来增长，每个block与输出头配对，预测场景内容的颜色残差和密度残差，最遥远的视图被允许从只有基本颜色的浅块中退出，而特写视图必须由更深的块处理，并逐步添加剩余颜色渲染。PE通过一个跳跃连接注入到每个块中，以捕捉场景组件中出现的复杂细节。在整个训练过程中，网络中的所有层都是可训练的。