Description：LiDAR-NeRF 论文笔记 (读 arXiv 全文后所写) — 新视角 LiDAR 合成，把点云投成 range image 后用 NeRF 体渲染同时建模深度/强度/ray-drop，结构正则 + NeRF-MVL 基准
Paper：Tang, T., Gao, L., Wang, G., Lao, Y., Chen, P., Zhao, H., Hao, D., Liang, X., Salzmann, M., & Yu, K. (2023). LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields. ACM MM 2024. arXiv:2304.10406
K2E-B ID：[K2E-B-G5-12]
Max3 PDF：[K2E] SLAM/[K2E-B-G] Geometry & Rendering/[K2E-B-G5] NeRF SLAM/[K2E-B-G5-12][2023] LiDAR-NeRF Novel LiDAR View Synthesis via Neural Radiance Fields.pdf
Notion ID：(待创建)
Created：2024-03-31
Updated：2026-06-02
License：转载欢迎 — 请署名 Yu Zhang 并链回 yuzhang.io 原文

1. 概述

LiDAR-NeRF (Tang et al. 2023, ACM MM 2024) — 新视角 LiDAR 合成:给多视角 LiDAR 观测,生成新视角下的点云。

与 RGB NeRF 本质不同:LiDAR 是稀疏 3D 测量 + 传感器属性 (强度、ray-drop),不是稠密像素颜色。LiDAR-NeRF 把点云投成 range image 后套 NeRF 体渲染,同时建模几何 + 强度 + ray-drop。

NeRF 体渲染见 NeRF (G6-1);LiDAR 隐式 SLAM 见 NeRF-LOAM / LONER。本笔记读 arXiv 全文。

2. range image 表示

把 3D 点云投成 $H\times W$ range 伪图,每像素 = 一条激光束。点 $(x,y,z)$ (距离 $d$):

$$ h = \left(1 - \frac{\arcsin(z/d) + |f_{down}|}{f_v}\right)\times H, \quad w = \frac{1}{2}\left(1 - \frac{\arctan(y,x)}{\pi}\right)\times W $$

($f_v$ 垂直 FOV,$f_{down}$ 下视角)。转成图像域 → 可套用 NeRF 体渲染框架。

隐式场对位置 $\mathbf{x}$ + 方向 $\boldsymbol{\theta}$ 输出三量:

$$ (\sigma, i, p) = f(\mathbf{x}, \boldsymbol{\theta}) $$

逐射线积分 (同 NeRF 体渲染权重 $w_i = T_i(1-e^{-\sigma_i\delta_i})$):

$$ \hat{D}(\mathbf{r}) = \sum_i w_i t_i, \quad \hat{I}(\mathbf{r}) = \sum_i w_i i_i, \quad \hat{P}(\mathbf{r}) = \sum_i w_i p_i $$

在可微框架里联合建几何 + 传感器属性。

标准 NeRF 忽略低纹理区 (平地) 的局部结构。提出结构正则 (仅在低纹理区用梯度掩码 GM):

$$ \mathcal{L}_{reg} = |\hat{GM}(R) - GM(R)|_1 $$

总损失:

$$ \mathcal{L}{total} = \mathcal{L}{distance} + \lambda_1\mathcal{L}{intensity} + \lambda_2\mathcal{L}{raydrop} + \lambda_3\mathcal{L}_{reg} $$

权重:$\lambda_1=\lambda_2=1$、$\lambda_3=100$。

提出 NeRF-MVL 基准:76k+ 帧、9 类物体 (护柱/车/行人/桥墩/植物/护栏/轮胎/锥桶/警示牌)、多 LiDAR 绕物体方形轨迹 (7m/15m) 采集 360° 视角
KITTI-360 (场景级):Chamfer 0.081 (PCGen 0.187)、$\delta_1$ 82.18% (76.90%)
NeRF-MVL (物体级):Chamfer 0.005 (PCGen 0.078)、F-score 98.50% (90.40%)
显著超基于模型的仿真器 (LiDARsim/PCGen) — 隐式学几何 + 传感器感知属性,免显式建网格

Tang, T., et al. (2023). LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields. ACM MM 2024. arXiv:2304.10406 — 论文 (本笔记读 arXiv 全文整理)
NeRF 体渲染见 NeRF (G6-1);LiDAR 隐式 SLAM 见 NeRF-LOAM (G5-9) / LONER (G5-10)