---

• Description：NeRF-VINS 论文笔记 — 预建 NeRF 地图接入 MSCKF 视觉惯性导航，渲染合成图做 2D-2D 匹配产生地图约束，嵌入式实时 15 Hz
• My Notion Note ID：K2E-B-G5-11
• Created：2024-03-31
• Updated：2026-06-11
• License：转载欢迎：转载请注明作者 Yu Zhang 并附原文出处（yuzhang.io）

---

Table of Contents

• 1. Summary
• 2. Key Contributions
• 3. Method
  • 3.1 MSCKF 框架与状态
  • 3.2 两类观测：实图 + NeRF 合成图
  • 3.3 实时渲染策略
• 4. Experiments & Results
• 5. Ablation & Discussion
• 6. Strengths / Limitations / Future Work
• References

---

1. Summary

Title: NeRF-VINS: A Real-time Neural Radiance Field Map-based Visual-Inertial Navigation System Authors: S. Katragadda, W. Lee, Y. Peng, P. Geneva, C. Chen, C. Guo, M. Li, G. Huang Paper: arXiv:2309.09295 (ICRA 2024) Github: 无官方代码

NeRF-VINS (UD RPNG 黄国权组， 2023)：把预训练 NeRF 地图接入 MSCKF（Multi-State Constraint Kalman Filter，多状态约束卡尔曼滤波器，用零空间投影高效融合历史帧约束的 VIO 框架）视觉惯性导航系统。思路：NeRF 能从任意视角合成图像 → 在当前估计位姿附近渲染合成图，与实时帧做 2D-2D 特征匹配 → 产生地图约束（等价于对预建地图的连续回环/重定位），有效抑制漂移。强调嵌入式实时：Jetson AGX Orin 上 15 Hz。

与 NICE-SLAM 等"在线建图 SLAM"不同——NeRF-VINS 是用离线预建 NeRF 地图做在线导航 (map-based localization)，更接近实际部署。

AR Table 数据集精度 ~0.44°/1.5 cm，优于 ROVIOLI+Map (1.32°/6.8 cm)，与 HLoc top-50 相当 (~0.45°/1.3 cm) 但 HLoc 鲁棒性差（部分序列 top-5 定位失败率高达 39%），NeRF-VINS 无失败。

2. Key Contributions

• NeRF 地图约束接入 MSCKF：第一个把 NeRF 渲染合成图作为测量约束融入滤波器的实时 VINS
• 半分辨率 + FSRCNN 超分：渲染 212×140 (水平减半)，FSRCNN（快速超分辨率卷积神经网络，轻量单图超分模型）上采样至 424×240，在嵌入式平台降渲染开销
• 嵌入式实时 15 Hz：Jetson AGX Orin，TensorRT 加速，SuperPoint（自监督关键点检测与描述子网络，ResNet18 骨干）特征匹配
• 鲁棒性：NeRF 合成图视角任意可控 → 适应实图视角受限区域；零定位失败率

3. Method

3.1 MSCKF 框架与状态

状态 $\mathbf{x}_k$ = 惯导状态（位姿/速度/IMU bias）+ 历史 IMU 滑窗位姿 + 3D 环境点。

IMU 非线性运动学传播（白噪声 + bias 随机游走）。采用 MSCKF 混合策略：长期跟踪特征保留在状态中，短期特征用 MSCKF 零空间投影、不进状态（靠滑窗多帧约束）— 详见 MSCKF 笔记。

3.2 两类观测：实图 + NeRF 合成图

实图测量（标准 bearing 模型）：

$$\mathbf{r}_{C_k} = \mathbf{z}_{C_k} - h_c(\hat{\mathbf{x}}_{T_k}, \hat{\mathbf{p}}_f^G) \approx \mathbf{H}_T\tilde{\mathbf{x}}_{T_k} + \mathbf{H}_f\tilde{\mathbf{p}}_f^G + \mathbf{n}_{C_k}$$

$h_c$ 为相机 bearing 测量函数：先将地图点从全局系 $\{G\}$ 变换到 IMU 系 $\{I_k\}$，再经外参 $\mathbf{R}_I^C, \mathbf{p}_I^C$ 变换到相机系，最后投影：$\mathbf{p}_f^{C_k} = \mathbf{R}_I^C \mathbf{R}_G^{I_k}(\hat{\mathbf{p}}_f^G - \hat{\mathbf{p}}_{I_k}^G) + \mathbf{p}_I^C$，$h_c = \pi(\mathbf{p}_f^{C_k})$（$\pi(\cdot)$ 为归一化投影）；$\tilde{\mathbf{x}}_{T_k}$、$\tilde{\mathbf{p}}_f^G$ 为误差状态（error state），即真值与估计值之差在切空间上的表示；$\mathbf{z}_{C_k}$ 为实测特征像素坐标；$\mathbf{H}_T / \mathbf{H}_f$ 为对应状态的 Jacobian 矩阵。

NeRF 合成图测量：在当前估计位姿附近渲染合成图 → 与实时帧做 2D-2D SuperPoint 特征匹配 → 关联到 NeRF 地图坐标系中的 3D 点：

$$\mathbf{z}_{N_k} = h_n(\mathbf{p}_f^G) + \mathbf{n}_{N_k}, \quad \mathbf{p}_f^G = s\mathbf{R}_G^N\mathbf{p}_f^K + \mathbf{p}_G^N$$

地图 3D 点 $\mathbf{p}_f^K$（NeRF 坐标系 $\{K\}$）通过相似变换对齐到全局导航系 $\{G\}$：$s\mathbf{R}_G^N\mathbf{p}_f^K + \mathbf{p}_G^N$，其中 $s$ 为尺度，$\mathbf{R}_G^N$ 为 NeRF 坐标系 $\{N\}$ 到 $\{G\}$ 的旋转，$\mathbf{p}_G^N$ 为平移；该对齐参数离线标定（COLMAP 位姿 → Instant-NGP 训练后，地图坐标系与导航系存在不对齐，需显式修正）。NeRF 测量等价于对预建地图的持续约束 → 抑制全局漂移。

NeRF 地图由 COLMAP（运动恢复结构工具链，含稀疏重建与 Bundle Adjustment 位姿优化）优化位姿后训练（质量最好）；渲染后端 Instant-NGP。

3.3 实时渲染策略

嵌入式实时关键工程：

步骤	细节
渲染分辨率	212×140（原分辨率 424×240 的约半，双边均降）
超分辨率	FSRCNN 上采样至 424×240（还原全分辨率）
特征匹配	SuperPoint 描述子（对低分辨率伪影鲁棒）
加速框架	TensorRT + ResNet18
渲染频率	>10 Hz（独立线程，半分辨率）
整体导航频率	15 Hz (Jetson AGX Orin)

4. Experiments & Results

数据集

数据集	类型	评估
AR Table	真实桌面 AR 序列（8 个子场景）	ATE (°/cm)

AR Table 定位精度

Method	旋转误差 (°)	平移误差 (cm)	失败率
ROVIOLI+Map	~1.32	~6.8	—
HLoc top-5	~0.45	~1.3	高（Table2: 37%，Table5: 24%）
HLoc top-50	~0.45	~1.3	高（多序列 10-39%）
NeRF-VINS	~0.44	~1.5	0%

精度与 HLoc top-50 相当，但鲁棒性显著优于 HLoc（无失败序列）；比 ROVIOLI+Map 精度提升约 3×。

5. Ablation & Discussion

• 无 NeRF 约束（仅 MSCKF）：精度退化至 ROVIOLI 水平（~1.3°/6.8 cm）；NeRF 地图约束是精度提升的关键
• 渲染分辨率：半分辨率 + FSRCNN 超分在质量损失极小的情况下将渲染时间降低约 6×（Jetson 全分辨率 ~660 ms/帧 → 半分辨率 + 超分后 ~67 ms/帧）
• HLoc 失败原因：HLoc 的 top-k 检索在部分序列中无法找到足够的匹配（视角受限）；NeRF 可按需合成对应视角解决此问题

6. Strengths / Limitations / Future Work

Strengths

• 首个把 NeRF 地图约束融入 MSCKF 滤波器的实时 VINS，定位零失败
• 嵌入式部署可行：Jetson AGX Orin 15 Hz，功耗低
• NeRF 地图视角灵活，不受实际数据库视角限制

Limitations

• 需要离线预建高质量 NeRF 地图（COLMAP + Instant-NGP 训练），部署前成本高
• 地图静态假设：动态场景（移动物体）可能引发误匹配
• 仅在 AR Table 数据集验证，未测 ScanNet / TUM 等标准 SLAM 基准

Future Work

• 在线地图更新（将预建地图与在线建图结合）
• 更大规模室外场景验证

References

• Katragadda, S., et al. (2023). NeRF-VINS: A Real-time Neural Radiance Field Map-based Visual-Inertial Navigation System. ICRA 2024. arXiv:2309.09295
• 代码/数据集: github.com/rpng/open_vins
• MSCKF 笔记：滤波后端
• Instant-NGP 笔记：NeRF 渲染后端