Description：SplaTAM 论文笔记 (读 arXiv 全文后所写) — 用 3D Gaussian Splatting 当地图的稠密 RGB-D SLAM，各向同性高斯 + silhouette 掩码，可微渲染光度+深度 loss 反传求位姿，按 silhouette/深度误差致密化
Paper：Keetha, N., Karhade, J., Jatavallabhula, K. M., Yang, G., Scherer, S., Ramanan, D., & Luiten, J. (2023). SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM. CVPR 2024. arXiv:2312.02126
K2E-B ID：[K2E-B-G2-6]
Max3 PDF：[K2E] SLAM/[K2E-B-G] Geometry & Rendering/[K2E-B-G2] Gaussian Splatting/[K2E-B-G2-6][2023] SplaTAM Splat Track & Map 3D Gaussians for Dense RGB-D SLAM.pdf
Notion ID：(待创建)
Created：2024-03-31
Updated：2026-06-02
License：转载欢迎 — 请署名 Yu Zhang 并链回 yuzhang.io 原文

1. 概述

SplaTAM (Keetha et al. 2023, CMU, CVPR 2024) — 用 3D Gaussian Splatting 当地图表示的稠密 RGB-D SLAM。

相比神经隐式 SLAM (NICE-SLAM/Point-SLAM),3DGS 显式表示 → 渲染快 (400 FPS)、梯度直达 (投影几何直接反传,不穿多层网络) → 跟踪/建图优化高效。

3DGS 基础见 3D Gaussian Splatting (G6-3);神经隐式对照见 NICE-SLAM。本笔记读 arXiv 全文。

2. 地图表示 — 各向同性高斯

地图 = 一堆各向同性 (isotropic) 3D 高斯,每个 8 参数:颜色 $\mathbf{c}$、中心 $\boldsymbol{\mu}$、半径 $r$、不透明度 $o\in[0,1]$。影响函数:

$$ f(\mathbf{x}) = o\cdot\exp!\left(-\frac{|\mathbf{x}-\boldsymbol{\mu}|^2}{2r^2}\right) $$

相比原版 3DGS 简化:去掉视角相关外观 (SH)、强制各向同性协方差 → SLAM 里算得快。

alpha 合成渲染三路输出:

silhouette 是关键:标记"已优化好"的像素 → 即使有未建图区也能鲁棒跟踪。

① 相机跟踪 — 梯度下降优化位姿,仅 silhouette 高的像素 ($S>0.99$) 参与,避免未建图内容带偏;匀速初始化:

$$ \mathcal{L}_t = \sum_p [S(p)>0.99]\cdot\big(L_1(D(p)) + 0.5,L_1(C(p))\big) $$

② 高斯致密化 — 在以下处加新高斯:silhouette 低 ($S<0.5$,未建图);或真值深度在预测深度前方且误差大 (>50× 深度中值误差)

③ 地图更新 — 对选定关键帧优化所有高斯参数,用同样 RGB+深度 loss,但不加 silhouette 掩码 (充分用训练数据)

意义:把 3DGS 作为 SLAM 地图的开创性工作之一 → 显式高斯 + 可微渲染 = 高质重建 + 高效跟踪,引出一批 GS-SLAM (本系列 G2 其余:CG-SLAM / Gaussian-SLAM / GS-SLAM 等)。

Keetha, N., et al. (2023). SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM. CVPR 2024. arXiv:2312.02126 — 论文 (本笔记读 arXiv 全文整理)
项目页: spla-tam.github.io
3DGS 基础见 3D Gaussian Splatting (G6-3);神经隐式对照见 NICE-SLAM / Point-SLAM