Description：NeRF-SLAM 论文笔记 (读 arXiv 全文后所写) — 实时稠密单目 SLAM = DROID-SLAM 稠密跟踪 + 深度不确定性加权监督 Instant-NGP 辐射场
Paper：Rosinol, A., Leonard, J. J., & Carlone, L. (2023). NeRF-SLAM: Real-Time Dense Monocular SLAM with Neural Radiance Fields. Proc. IEEE/RSJ IROS 2023. arXiv:2210.13641
K2E-B ID：[K2E-B-G5-3]
Max3 PDF：[K2E] SLAM/[K2E-B-G] Geometry & Rendering/[K2E-B-G5] NeRF SLAM/[K2E-B-G5-3][2022] NeRF-SLAM Real-Time Dense Monocular SLAM with Neural Radiance Fields.pdf
Notion ID：(待创建)
Created：2024-03-31
Updated：2026-06-02
License：转载欢迎 — 请署名 Yu Zhang 并链回 yuzhang.io 原文

1. 概述

NeRF-SLAM (Rosinol, Leonard, Carlone 2023, MIT SPARK Lab) — 实时稠密单目 SLAM。流水线 = DROID-SLAM 稠密跟踪 (产位姿 + 稠密深度 + 深度不确定性) + Instant-NGP 辐射场建图 (用深度监督，按不确定性加权)。

核心创新：稠密深度图有噪声，用深度不确定性加权深度 loss 监督 NeRF → 避免被噪声深度带偏。

DROID-SLAM 是稠密光流+BA 跟踪 (见 K2E-B Deep VO 系列)；Instant-NGP 见 Instant-NGP (G6-2)；本笔记读 arXiv 全文。

2. 跟踪 — DROID-SLAM

DROID-SLAM 模块：

ConvGRU 算相邻帧稠密光流 + 光流权重
稠密 Bundle Adjustment (逆深度参数化) → 位姿 + 每像素深度图
系统方程线性化为相机/深度块状稀疏 Hessian (Schur 补处理)

3. 深度不确定性

从 Hessian 块结构经 Schur 补 求边缘协方差 (见 边缘化 那篇)：

$$ \Sigma_T = (L L^T)^{-1} \quad \text{(位姿协方差, Cholesky)} $$ $$ \Sigma_d = P^{-1} + P^{-T} E^T \Sigma_T E P^{-1} \quad \text{(深度协方差, 含位姿不确定性)} $$

4. 建图 — 不确定性加权监督

把图像、位姿、深度图、深度不确定性喂给 Instant-NGP 辐射场训练 (位姿不确定性 Σ_T 间接进入：经 E^T Σ_T E 耦合到深度协方差 Σ_d)。深度 loss 按深度协方差加权：

$$ \mathcal{L}D = | D - D^*(T, \Theta) |^2{\Sigma_D} $$

(Mahalanobis 距离，见 高斯滤波家族 §1) — 不确定的深度 (远点/弱纹理) 权重小。消融显示不加权会有偏、收敛慢。

5. 结果

Replica 上比 NICE-SLAM：PSNR 最高提升 179% (Replica office-1 最优，非全场景平均)，L1 深度精度最高好 86%，实时 ~12 fps (640×480；跟踪线程 ~15 fps、建图线程 ~10 fps)。纯单目做到稠密 + 辐射场是亮点。

References

Rosinol, A., Leonard, J. J., & Carlone, L. (2023). NeRF-SLAM: Real-Time Dense Monocular SLAM with Neural Radiance Fields. Proc. IEEE/RSJ IROS 2023. arXiv:2210.13641 — 论文 (本笔记读 arXiv 全文整理)
Teed, Z., & Deng, J. (2021). DROID-SLAM. NeurIPS. — 稠密跟踪后端
Instant-NGP 见 Instant-NGP (G6-2)；不确定性/Schur 见 边缘化 + 高斯滤波家族