NeRFStudio系列 Part 1:PipeLines概述

news/2024/3/29 13:03:15/文章来源:https://blog.csdn.net/i_head_no_back/article/details/130337419

前言:Why NeRFStudio?

Alt
NeRF社区是近两年来计算机领域最活跃的学术社区之一,各种具有milestone意义的算法层出不穷,各位作者的开源工作也做得非常扎实,非常多的工作都自带了code、data、project page。 但是后继者想要在这些伟大的工作基础上做研究却是一件令人棘手的事情,其主要原因便是各大实验室的代码风格不一,封装习惯也不一样,导致新手想接触一项新的工作时不仅要学习理论知识,还要迅速接受新的编程风格,并且还要对各个模块重新封装才能将其应用到自己的工作中。
NeRFStudio应运而生,将NeRF的研究、迭代、工业化集为一体,实现了NeRF的抽象化和模块化,并向开发者提供了详尽的说明文档与Demo。我相信NeRFStudio将会成为下一个mmcv。

注:官方文档已经足够详尽,在此我仅打算做一个阅读笔记,梳理阅读思路,用来给以后向我这样的糊涂鬼使用。

Cotents

首先我们进入官网,映入眼帘的documents目录:

  • Getting Started: 主要包括如何安装
  • Nerfology:NeRF相关的知识储备
  • Developer Guides: 如何搭建一套NeRF PipeLine
  • Reference:Command line interface and API, 主打一个命令行和一些API的参考,平时又看不懂的可以来这里翻一翻。

在后面的文章中,我会主要介绍Nerfology以及developer guides这两部分,reference稍有涉及。

PipeLines Overview

Alt
上图展示了NeRFStudio总体的Pipelines.主要分为两部分:DataManager和Model.

  • DataManager:主要负责加载data并且生成RayBundle和Ray GT实例。RayBundle即为 { ( o , d ) ∈ Batches } \{(\bm{o,d}) \in \text{Batches}\} {(o,d)Batches}, RayGT就是采样点对应的像素 { C ( r ) ∈ Batches } \{\bm{C}(\bm{r}) \in \text{ Batches}\} {C(r) Batches}

  • Models:主要负责沿着RayBundle进行采样,返回每条ray对应的渲染结果:RayOutputs,而RayOutputs会联合Ray GT用于计算Loss Dict进而优化NeRF模型。

  • Fields:这个好理解,举个例子Color Field, Density Field, Transient Color Field etc, 输入的是samples,输出的是积分结果。

在此基础上,NeRFStudio构建了自己的Nerfacto Method, 该模型主要在MipNeRF-360的框架上加入了NeRF–, Instant-NGP, NeRF-W, Ref-NeRF等Feature,并增加了实时训练可视化的功能,效果经验,仅需要10到20分钟就能得到效果经验的场景渲染。
Alt
NeRFacto features的相关论文我会在后面的文章中介绍。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_102693.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

jenkins自动化部署配置

文章目录 1. jenkins 插件安装2. 配置2.1 全局工具配置2.2 全局配置2.2.1 gitee 配置 3. 创建任务添加gitee ssh jenkins 开机自启动 1. jenkins 插件安装 ant Build Failure AnalyzerBuild Monitor ViewBuild Timeout dockerEmail Extension Plugin giteegithubgradle javama…

Python科研数据可视化

在过去的20 年中,随着社会产生数据的大量增加,对数据的理解、解释与决策的需求也随之增加。而固定不变是人类本身,所以我们的大脑必须学会理解这些日益增加的数据信息。所谓“一图胜千言”,对于数量、规模与复杂性不断增加的数据&…

广域通信网 - 流量控制(停等协议、滑动窗口协议)

文章目录 1 概述2 流量控制协议2.1 停等协议2.2 滑动窗口协议 1 概述 #mermaid-svg-c9cNIYsOvLpoO4AV {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-c9cNIYsOvLpoO4AV .error-icon{fill:#552222;}#mermaid-svg-c9c…

跳槽必备,全面总结Android面试知识点

在最近的 Android 开发(社招)面试中总结的 Android 基础知识点,已经拿到心仪的offer,回馈同学们,感谢其他大佬的分享。 Android中大厂面试都很重视基础知识的考察,面试前不仅要熟悉这些知识点,…

设计模式之访问者模式(C++)

作者:翟天保Steven 版权声明:著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处 一、访问者模式是什么? 访问者模式是一种行为型的软件设计模式,表示一个作用于某对象结构中的各元素的操作…

智能家居代码架构---简单工厂模式

(11条消息) 智能家居 (10) ——人脸识别祥云平台编程使用(编译libcurl库支持SSL,安装SSL依赖库libssl、libcrypto)openssl 依赖库行稳方能走远的博客-CSDN博客 看上面这个博客的往期文章 代码设计经验的总结,稳定,拓展性更强。一系列编程思…

DAX:概述ALL函数

简单的说,当ALL用作表函数时,忽略应用到表上的任何过滤器,并返回数据表;当ALL用作CALCULATE和CALCULATETABLE函数中修饰器时,ALL函数从扩展表中移除已经应用的过滤上下文。 注意自动存在(auto-eixist)对ALL()函数的影响…

选址-路径问题(Location-Routing Problem, LRP)

今天为大家介绍的是选址-路径问题(Location-Routing Problem, LRP),首先上目录 目录 问题简介 基础模型、扩展问题及应用 算法 参考文献 1 问题简介 为了更好地了解这个问题,我们不妨当一波老板。 想象一下我们是经营一家口罩生产企业的老板&am…

案例——数据表的基本操作

目录 案例目的: 创建表: 创建offices: 创建employees表: 修改表: 将 employees 的 mobile 字段移动到 officeCode 字段后: 将 birth 字段名称改为 employee_birth: 修改 sex 字段,数据类…

Vue的路由实现:hash模式 和 history模式原理及区别

目录标题 1、hash模式2、history模式 Vue-Router有两种模式: ** hash 模式和 history**模式。默认的路由模式是hash模式。 1、hash模式 简介:hash模式是开发中默认的模式,它的URL带着一个#,例如:http://www.abc.com/#/vue,它的…

Facebook、Google、亚马逊,谁将成为跨境电商的营销宠儿?

跨境电商在全球范围内的发展日益迅猛,而营销渠道的选择也变得越来越多样化。在众多的广告平台中,Facebook、Google和亚马逊被公认为是跨境电商卖家们最主要的营销平台。那么,这三个平台中哪个会成为跨境电商的营销宠儿呢? 一、Fac…

【GIT】git push后长时间没反应

方向一 查看是否添加ssh 打开git bash cd ~/.ssh看是否成功,能成功说明之前生成过,看文件夹下是否有id_rsa.pub和id_rsa文件,有的话跳过生成步骤3 输入 ssh-keygen -t rsa -C ‘your_emailexample.com’(注:your_emailexample.c…

二百左右的蓝牙耳机哪款好?200左右音质最好的蓝牙耳机

在日常生活中离不开智能手机,特别是对无线蓝牙耳机的需求程度也越来越高,但是市面上有很多的蓝牙耳机戴久了耳朵会出现不舒服,为了获得更好的使用体验,我整理了市面上200左右价位佩戴和音质都表现不错的蓝牙耳机。 一、南卡小音舱…

“SCSA-T学习导图+”系列:IPSec VPN原理与应用

本期引言: 本章主要讲解IPSec VPN相关理论概念,工作原理。从安全和加密原理入手,讲解了IPSec 在VPN对等体设备实现的安全特性,如数据的机密性、数据的完整性,数据验证等。重点分析IPSec封装模式,IPSec安全…

【HDCTF2023】wp

【HDCTF2023】wp 文章目录 【HDCTF2023】wpwebWelcome To HDCTF 2023SearchMasterYamiYamiLoginMaster mischardMiscMasterMiscExtremeMiscSuperMisc web Welcome To HDCTF 2023 在源码的 game.js中找到了flag 在控制台输出 console.log(seeeeeeeecret)得flag SearchMaster …

亚马逊美国站带绳窗帘

带绳窗帘 如果您在亚马逊商城发布商品,则必须遵守适用于这些商品和商品信息的所有联邦、州和地方法律以及亚马逊政策(包括本政策)。 本政策涵盖的带绳窗帘 带绳窗帘是一种室内用窗帘,可通过一根吊绳控制升降。此类商品包括但不…

【PR 基础】轨道遮罩键、交叉溶解的简单使用

在上篇博客(【PR 基础】裁剪工具的简单使用)介绍了裁剪效果的使用,本篇博客在上篇的基础上继续添加 轨道遮罩键、交叉溶解的效果。 效果 步骤 1.可以先将恢复裁剪区域的关键帧删除 2. 接下来添加字幕,点击 新建-》旧版标题 点击…

vue3+ts+pinia+vite一次性全搞懂

vue3tspiniavite项目 一:新建一个vue3ts的项目二:安装一些依赖三:pinia介绍、安装、使用介绍pinia页面使用pinia修改pinia中的值 四:typescript的使用类型初识枚举 一:新建一个vue3ts的项目 前提是所处vue环境为vue3&…

flask学习-实践02

项目实战 入门文当(2条消息) python flask框架详解_flask python_尘世风的博客-CSDN博客(2条消息) python flask框架详解_flask python_尘世风的博客-CSDN博客 入门项目 抄作业了!6 大 Flask 开源实战项目推荐_小詹学 Python的博客-CSDN博客 (66 条消息) GitHub 上有…

Transformer 位置编码代码解析

Transformer 位置编码代码解析 Transformer 的 Multi-Head-Attention 无法判断各个编码的位置信息。因此 Attention is all you need 中加入三角函数位置编码(sinusoidal position embedding),表达形式为: P E ( p o s , 2 i ) …