多波束激光雷达传感器，常用于自动驾驶汽车和移动机器人，获取三维范围扫描序列（“帧”）。由于角度扫描分辨率有限和遮挡，每帧只稀疏地覆盖场景。稀疏性限制了下游过程的性能，如语义分割或表面重建。幸运的是，当传感器移动时，从不同的视点捕获帧。这提供了补充信息，并在公共场景坐标系中累积时，产生了更密集的采样和对基础三维场景的更全面覆盖。然而，扫描的场景通常包含移动的物体。仅通过补偿扫描仪的运动无法正确对齐这些移动物体上的点。为此文章《Dynamic 3D Scene Analysis by Point Cloud Accumulation》提供了多帧点云积累作为 3D 扫描序列的中间表示，并开发了一种利用户外街景几何布局和刚性物体的归纳偏差的方法。该文代码也在Github中完成了开源。
Dynamic 3D Scene Analysis by Point Cloud Accumulation
多任务模型的网络架构在图2中示意描述。为了随着时间累积点，我们利用了场景可以分解为移动为刚体的代理[19]的归纳偏见。我们首先提取每个单独帧的潜在基础特征（§3.1），然后将其作为输入到任务特定的头部。为了估计自我运动，我们使用可微分的配准模块（§3.2）。我们不仅使用自我运动来对齐静态场景部分，还使用它来对齐基础特征，这些基础特征在后续阶段中被重复使用。为了解释动态前景的运动，我们利用对齐的基础特征并进行运动分割（§3.3）以及动态前景对象的时空关联（§3.4）。最后，我们从每个前景对象的时空特征解码出它的刚体运动（§3.5）。我们端对端地训练整个模型，使用由五个项组成的损失L：
在下面，我们对每个模块进行高层次的描述。详细的网络架构。
考虑有序点云序列
X
=
X
t
t
=
1
T
X={X^t}^T_{t=1}
X=Xtt=1T，其由变量大小的
T
T
T 帧组成，每帧
X
t
=
[
x
1
t
,
.
.
.
,
x
i
t
,
.
.
.
,
x
t
n
t
]
∈
R
3
×
n
t
X^t=[x^t_1 ,...,x^t_i ,...,x^t{n_t} ]∈R^{3×n_t}
Xt=[x1t,...,xit,...,xtnt]∈R3×nt 是由移动的车辆在恒定时间间隔
∆
t
∆t
∆t内捕获。每一帧点云进行前景与背景分割。背景点被用来估计传感器的自我运动，而前景点则继续被分类为移动或静止的前景。我们将第一帧
X
1
X^1
X1 称为目标帧，而其余帧
{
X
t
∣
t
>
1
}
\{X^t | t>1\}
{Xt∣t>1} 称为原始帧。文中的目标是估计将每个原始帧对齐到目标帧的流向量
{
V
t
∈
R
3
×
n
t
∣
t
>
1
}
\{V^t∈\mathbb{R}^{3×n_t} | t>1\}
{Vt∈R3×nt∣t>1}，从而累积点云。每个帧可以分解为静态部分
X
s
t
a
t
i
c
t
X^t_{static}
Xstatict 和
K
t
K_t
Kt 刚性移动动态部分
X
d
y
n
a
m
i
c
t
=
{
X
k
t
}
k
=
1
K
t
X^t_{dynamic}=\{X^t_k \}^{K_t}_{k=1}
Xdynamict={Xkt}k=1Kt 。具体如下所示：
其中
T
◦
X
(
T
◦
x
)
T◦X(T ◦ x)
T◦X(T◦x)表示将变换应用于点集
X
X
X（或点
x
x
x）。
骨干网络将单帧的 3D 点云转换为俯视图（BEV）潜在特征图像。具体来说，我们使用点级 MLP 将点坐标提升到更高维潜在空间，然后将它们散射到与重力轴对齐的 H × W H×W H×W 特征网格中。使用最大池化聚合每个网格单元（“柱”）的特征，然后通过 2D UNet [37] 扩大其感受野并加强局部上下文。骨干网络的输出是每个 T T T帧的 2D 潜在基础特征图 F b a s e t F^t_{base} Fbaset。
我们使用基于对应关系的配准模块单独为每个源帧估计本体运动 T e g o t T^t_{ego} Tegot。属于动态对象的点可以偏离本体运动的估计，特别是在使用基于对应关系的方法时，应该被舍弃。然而，在流水线的早期阶段，需要考虑场景动态性是很困难的，因此我们采用保守的方法并将点分类为背景和前景，其中前景包含所有可移动的对象（例如，汽车和行人），而不考虑实际的动态性[19]。预测的前景蒙版后来用于在§3.3中指导运动分割。
我们首先使用两个专用的头部从每个
F
b
a
s
e
t
F^t_{base}
Fbaset中提取本体运动特征
F
e
t
g
o
F^t_ego
Fetgo和前景得分
s
F
G
t
s^t_{FG}
sFGt，每个都包含两个卷积层，由ReLU激活和批量标准化隔开。然后，我们随机抽样
s
F
G
t
<
τ
s^t_{FG} < τ
sFGt<τ的Nego背景柱，并计算柱心坐标
P
t
=
p
l
t
P_t = {p^t_l}
Pt=plt。本体运动
T
e
g
o
t
T^t_{ego}
Tegot被估计为：
在这里，
ϕ
(
p
l
t
,
P
1
)
ϕ(p^t_l , P^1)
ϕ(plt,P1) 找到了
p
l
t
p^t_l
plt 在
P
1
P^1
P1中的软对应，而
w
l
t
w^t_l
wlt是对应对
(
p
l
t
,
ϕ
(
p
l
t
,
P
1
)
)
(p^t_l, ϕ(p^t_l , P^1))
(plt,ϕ(plt,P1)) 之间的权重。
ϕ
(
p
l
t
,
P
1
)
ϕ(p^t_l , P^1)
ϕ(plt,P1) 和
w
l
t
w^t_l
wlt 都是使用带有熵正则化的 Sinkhorn 算法从
F
e
g
o
t
F^t_{ego}
Fegot估计出来的，其中
F
e
g
o
t
F^t_{ego}
Fegot有一些松弛行/列填充[11,66]，并且
T
e
g
o
t
T^t_{ego}
Tegot的最优值是通过可微分的Kabsch算法[27]计算出来的。简要来说，其中
p
p
p为 Pillar 中心的坐标，
ɸ
ɸ
ɸ 为 帧
t
t
t 中Pillar
p
p
p在帧1中的软映射，
w
w
w为相应的映射权重。
执行动作分割，重新使用每帧基础功能 { F b a s e t } \{F^t_{base}\} {Fbaset}。具体来说，我们应用可微分的特征扭曲方案[49]，使用预测的自我运动 T e g o t T^t_{ego} Tegot扭曲每个 F b a s e t F^t_{base} Fbaset，并通过沿通道维度堆叠扭曲的特征图来获得大小为 C × T × H × W C×T×H×W C×T×H×W的时空3D特征张量。然后将这个特征张量通过一系列3D卷积层，再经过沿时间维度 T T T的最大池化。最后，我们应用一个小的2D UNet来获得2D运动特征图F motion。为了减少离散误差，我们将网格运动特征双线性插值到每帧中所有前景点上。计算 x i t x^t_i xit的点级运动特征如下：
