Denoising diffusion probabilistic models (DDPMs)从马尔科夫链中采样生成样本，需要迭代多次，速度较慢。Denoising diffusion implicit models (DDIMs)的提出是为了加速采样过程，减少迭代的次数，并且要求DDIM可以复用DDPM训练的网络。
加速采样的基本思路是，DDPM的生成过程需要从
[
T
,
⋯
,
1
]
[T,\cdots,1]
[T,⋯,1]的序列逐步采样，DDIM则可以从
[
T
,
⋯
,
1
]
[T,\cdots,1]
[T,⋯,1]的子序列采样来生成，通过跳步的方式减少采样的步数。
DDPM中推理分布（inference distribution）
q
(
x
1
:
T
∣
x
0
)
q(\mathbf x_{1:T}|\mathbf x_0)
q(x1:T∣x0)是固定的马尔科夫链。DDIM的作者考虑构造新的推理分布，该推理过程和DDPM优化相同的目标，但能产生新的生成过程。
考虑一个推理分布族Q，由实向量
σ
∈
R
≥
0
T
\sigma \in \mathbb{R}^T_{\ge 0}
σ∈R≥0T索引：
根据上面的定义有
q
σ
(
x
t
∣
x
0
)
=
N
(
α
t
x
0
,
(
1
−
α
t
)
I
)
q_{\sigma}(\mathbf x_t | \mathbf x_0) = \mathcal{N}(\sqrt{\alpha_t}\mathbf x_0, (1-\alpha_t)I)
qσ(xt∣x0)=N(αt
x0,(1−αt)I)。
对应的前向过程也是高斯分布：
通过上面定义的推理过程，前向过程变成了非马尔科夫的，因为每一步都依赖
x
0
\mathbf x_0
x0。
参数
σ
\sigma
σ控制前向过程的随机性，如果
σ
→
0
\sigma \rightarrow 0
σ→0，那么在已知
x
0
\mathbf x_0
x0和其中任一个
x
t
\mathbf x_t
xt的情况下，
x
t
−
1
\mathbf x_{t-1}
xt−1是固定的。
根据上面的推理过程，定义需要学习的生成过程为：
其中
根据上面的定义的推理过程和生成过程，优化的目标是
可以证明该优化目标和特定情况下DDPM的优化目标相同。
逆向生成过程的采样方法如下：
选择不同的
σ
\sigma
σ值会导致不同的生成过程，但它们使用相同的
ϵ
θ
\epsilon_{\theta}
ϵθ模型。
如果
σ
t
=
(
1
−
α
t
−
1
)
/
(
1
−
α
t
)
(
1
−
α
t
)
/
(
1
−
α
t
−
1
)
\sigma_t=\sqrt{(1-\alpha_{t-1})/(1-\alpha_{t})}\sqrt{(1-\alpha_{t})/(1-\alpha_{t-1})}
σt=(1−αt−1)/(1−αt)
(1−αt)/(1−αt−1)
，那么前向过程又变成了马尔科夫的，生成过程和DDPM一样。
如果
σ
t
=
0
\sigma_t=0
σt=0，那么随机噪声前的系数是0，
x
0
\mathbf x_0
x0和
x
T
\mathbf x_T
xT之间的关系是固定的，这属于隐概率模型（implicit probabilistic model）。因此，作者把这种情况称为denoising diffusion implicit model (DDIM)。
为了加速采样，作者考虑下面的推理过程：
其中
τ
\tau
τ是长度为S的
[
1
,
⋯
,
T
]
[1,\cdots,T]
[1,⋯,T]的子序列，
τ
S
=
T
\tau_S=T
τS=T，
τ
‾
:
=
{
1
,
…
,
T
}
\
τ
\overline{\tau}:=\{1,\ldots,T \} \backslash \tau
τ:={1,…,T}\τ是除去子序列剩下的序号。
定义
该推理分布对应的生成过程如下：
定义需要学习的概率为：
根据上面的定义的推理过程和生成过程，优化的目标是
可以证明该优化目标和特定情况下DDPM的优化目标相同。
因此，可以利用DDPM训练的网络，但是从子序列采样生成图像。
