😸NeRF（ECCV 2020）主要贡献：

提出一种将具有复杂几何性质和材料的连续场景表示为 5D 神经辐射场的方法 
    
    
    ，并将其参数化为基本的 MLP 网络 提出一种基于经典体渲染技术的可微渲染方式
     


     


     


，论文用它来优化标准 RGB 图像的表示 提出位置编码将每个输入 5D 坐标映射到高维空间 




 




 




，这使得论文能够成功优化神经辐射场来表示高频场景内容

前言

5D 坐标

😸论文提出了一种通过使用稀疏的输入图像集优化底层连续体积场景函数（volumetric scene function）的方法 

   

   

   ，从而达到了合成复杂场景新视图的 SOTA    
    
    
。论文的算法使用全连接深度网络表示场景
     

     

     

，网络的输入是包括3D 位置信息

(

x

,

y

,

z

)

(x, y, z)

(x,y,z) 和视角方向

(

θ

,

ϕ

)

(\theta, \phi)

(θ,ϕ) 的单个连续的 5D 坐标  




  




  




，其输出是该空间位置的体积密度

σ

\sigma

σ 和与视图相关的 RGB 颜色 


  


  


  ，接着使用经典的体绘制技术将输出的颜色和密度投影到图像中  


     


     


    。优化合成新视图所需要的唯一输入是一组具有已知相机位姿的图像（NeRF 中的 lego 小车使用 100 张图像）
     
     
     
，而 5D 坐标是通过沿着对应像素的相机光线采样所得到的


 




 




 


。

坐标变换

三种坐标系：

世界坐标系：表示物理上的三维世界 相机坐标系：表示虚拟的三维相机坐标 图像坐标系：表示二维的图片坐标

😺相机坐标

(

X

c

,

Y

c

,

Z

c

)

T

(X_c, Y_c, Z_c)^T

(Xc​,Yc​,Zc​)T 和世界坐标

(

X

,

Y

,

Z

)

T

(X, Y, Z)^T

(X,Y,Z)T

之间存在如下转换关系：

C

c

=

[

X

c

Y

c

Z

c

1

]

=

[

r

11

r

12

r

13

t

x

r

21

r

22

r

23

t

y

r

31

r

32

r

33

t

z

1

]

[

X

Y

Z

1

]

=

[

C

o

l

1

C

o

l

2

C

o

l

3

C

t

1

]

[

X

Y

Z

1

]

=

M

w

2

c

C

w

C

o

l

i

=

[

r

1

i

,

r

2

i

,

r

3

i

]

T

,

i

∈

[

1

,

2

,

3

]

C

t

=

[

t

x

,

t

y

,

t

z

]

T

C_c = \begin{bmatrix} X_c \\ Y_c \\ Z_c \\ 1 \end{bmatrix} = \begin{bmatrix} r_{11} & r_{12} & r_{13} & t_x \\ r_{21} & r_{22} & r_{23} & t_y \\ r_{31} & r_{32} & r_{33} & t_z \\ 0 & 0 & 0 & 1 \\ \end{bmatrix} \begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix} = \begin{bmatrix} Col_1 & Col_2 & Col_3 & C_t \\ 0 & 0 & 0 &1 \end{bmatrix} \begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix}= M_{w2c}C_w \\ Col_i = [r_{1i}, r_{2i}, r_{3i}]^T, i \in [1, 2, 3] \qquad C_t = [t_x, t_y, t_z]^T

Cc​=⎣⎡​Xc​Yc​Zc​1​⎦⎤​=⎣⎡​r11​r21​r31​0​r12​r22​r32​0​r13​r23​r33​0​tx​ty​tz​1​⎦⎤​⎣⎡​XYZ1​⎦⎤​=[Col1​0​Col2​0​Col3​0​Ct​1​]⎣⎡​XYZ1​⎦⎤​=Mw2c​Cw​Coli​=[r1i​,r2i​,r3i​]T,i∈[1,2,3]Ct​=[tx​,ty​,tz​]T ✍️其中   




   




   




，矩阵

M

w

2

c

M_{w2c}

Mw2c​ 是一个仿射变换矩阵 



 



 



 ，也可叫做相机的外参矩阵；

[

C

o

l

1

,

C

o

l

2

,

C

o

l

3

]

[Col_1, Col_2, Col_3]

[Col1​,Col2​,Col3​] 包含旋转信息；

C

t

C_t

Ct​ 包含平移信息   

   

   

。

🙀对于二维图片的坐标

[

x

,

y

]

T

[x, y]^T

[x,y]T 和相机坐标系下的坐标

[

U

,

V

,

W

]

[U, V, W]

[U,V,W]

存在如下转换关系：

[

x

y

1

]

=

[

f

x

c

x

f

y

c

y

1

]

[

U

V

W

]

=

M

c

2

i

C

c

\begin{bmatrix} x \\ y \\ 1 \end{bmatrix} = \begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} U \\ V \\ W \end{bmatrix} = M_{c2i}C_c

⎣⎡​xy1​⎦⎤​=⎣⎡​fx​00​0fy​0​cx​cy​1​⎦⎤​⎣⎡​UVW​⎦⎤​=Mc2i​Cc​ ✍️其中               ，矩阵

M

c

2

i

M_{c2i}

Mc2i​ 为相机的内参矩阵（透视投影矩阵）
    




    




    




，包含焦距

(

f

x

,

f

y

)

(f_x, f_y)

(fx​,fy​) 以及图像中心点的坐标

(

c

x

,

c

y

)

(c_x, c_y)

(cx​,cy​)   

     

     

   。

😸论文使用数据集的配置文件 *.json 中的 transform_matrix 为上面所述仿射变换矩阵

M

w

2

c

M_{w2c}

Mw2c​ 的逆矩阵

M

c

2

w

=

M

w

2

c

−

1

M_{c2w} = M_{w2c}^{-1}

Mc2w​=Mw2c−1​；而 camera_angle_x 是相机的水平视场 (horizontal field of view)














，可以用于算焦距



  




  




  

。

常见图像质量评估指标

结构相似性 SSIM：一种衡量两幅图像相似度的指标                ，其值越大则两张图片越相似（范围为

[

,

1

]

[0, 1]

[0,1]）  


  


  


。给定两张图片

x

x

x 和

y

y

y
     



     



     



，其计算公式如下：

S

S

I

M

(

x

,

y

)

=

(

2

μ

x

μ

y

+

c

1

)

(

2

σ

x

y

+

c

2

)

(

μ

x

2

+

μ

y

2

+

c

1

)

(

σ

x

2

+

σ

y

2

+

c

2

)

SSIM(x, y) = \frac{(2 \mu_x \mu_y + c_1)(2 \sigma_{xy} + c_2)}{(\mu_{x}^{2}+\mu_{y}^{2}+c_1)(\sigma_{x}^{2}+\sigma_{y}^{2}+c_2)}

SSIM(x,y)=(μx2​+μy2​+c1​)(σx2​+σy2​+c2​)(2μx​μy​+c1​)(2σxy​+c2​)​

✍️其中














，

μ

x

\mu_x

μx​ 为

x

x

x 的均值 
    
    
    ，

μ

y

\mu_y

μy​ 为

y

y

y 的均值
     


     


     


，

σ

x

\sigma_x

σx​ 为

x

x

x 的方差 




 




 




，

σ

y

\sigma_y

σy​ 为

y

y

y 的方差 

   

   

   ，

σ

x

y

\sigma_{xy}

σxy​ 为

x

x

x 和

y

y

y 的协方差
     

     

     

，

c

1

=

(

K

1

L

)

2

c_1=(K_1 L)^2

c1​=(K1​L)2  




  




  




，

c

2

=