01 view Synthesis problem Definition
02 View synthesis with multiplane Image(MPI)
MPI的缺陷:
- 不是真正的三维表达
- 不同视角观测的RGB是不变的
与MPI不一样的地方:不是手工设计的,而是整体输入
不同视角的RGB是不一样的
缺陷: - 场景独立,不能泛化
- 过程费时
不同视角观测的颜色不一样
创新点:
- 贝叶斯方式来计算RGB值
- 渲染方式非常快
缺点: 不能进行场景泛化
- k0是已知的
03 MINE-continous-Depth MPI with Neural Radiance Field
- 深度随机采样,多次decoder,生成视觉下的MPI
- 更好地学习到场景的语义和深度信息
优点:
- 连续深度MPI
- 可以泛化到没有见过的场景
局限性:
- single image
- 消耗计算资源