生成模型

扩散模型

深度学习

扩散模型原理解析：从前向加噪到 DDPM 采样

2023-01-29更新于 2026-08-167 min read

从条件高斯分布出发推导 DDPM 的前向扩散、反向去噪与噪声预测目标，并补充 DDIM、CFG、潜空间扩散和 flow matching 的关系。

扩散模型生成过程

扩散模型的核心可以压缩成一句话：训练时学会从任意噪声强度下恢复数据方向，生成时从标准高斯噪声出发，重复执行这个去噪步骤。

它和 VAE、GAN 一样，目标都是从简单分布生成复杂数据；不同之处在于，它把一次困难的映射拆成了许多小的随机转移。本文以 DDPM 为主线解释这一过程。

前向扩散：把数据逐渐变成高斯噪声

设真实样本 $x_0\sim q(x)$ 。DDPM 定义一个固定的马尔可夫链，每一步加入少量高斯噪声：

q(x_t\mid x_{t-1})= \mathcal N\left(x_t;\sqrt{1-\beta_t}\,x_{t-1},\beta_t I\right)

其中 $\beta_t\in(0,1)$ 是预先设定的噪声计划。令

\alpha_t=1-\beta_t,\qquad \bar\alpha_t=\prod_{s=1}^{t}\alpha_s

连续高斯变量的线性组合仍是高斯变量，因此可以把从 $x_0$ 到 $x_t$ 的所有步骤合并，得到一个非常实用的闭式采样公式：

q(x_t\mid x_0)= \mathcal N\left(x_t;\sqrt{\bar\alpha_t}\,x_0,(1-\bar\alpha_t)I\right)

等价地，若 $\epsilon\sim\mathcal N(0,I)$ ：

x_t=\sqrt{\bar\alpha_t}\,x_0+ \sqrt{1-\bar\alpha_t}\,\epsilon

这个重参数化结果意味着：训练时不需要真的从 $x_1$ 一步步算到 $x_t$ 。随机抽一个时间步 $t$ ，只做一次线性组合就能直接得到对应噪声强度的样本。

前向扩散与反向去噪

当 $T$ 足够大、噪声计划合适时， $\bar\alpha_T$ 接近 0， $x_T$ 便近似服从 $\mathcal N(0,I)$ 。

反向过程：学习每一步的去噪分布

生成时我们只有随机噪声 $x_T$ ，需要逐步采样 $x_{T-1},\ldots,x_0$ 。真实的反向条件分布依赖未知的数据分布，于是用神经网络参数化：

p_\theta(x_{t-1}\mid x_t)= \mathcal N\left(x_{t-1};\mu_\theta(x_t,t),\Sigma_\theta(x_t,t)\right)

DDPM 从负对数似然的变分下界出发训练模型。由于前向后验 $q(x_{t-1}\mid x_t,x_0)$ 是可解析的高斯分布，各时间步的主要项可以写成它与 $p_\theta$ 之间的 KL 散度。

原论文发现，固定或按规则设置反向方差，并让网络预测噪声 $\epsilon$ ，可以得到简单而有效的目标：

\mathcal L_{\text{simple}} =\mathbb E_{x_0,t,\epsilon} \left[\left\|\epsilon-epsilon_\theta(x_t,t)\right\|_2^2\right]

把 $x_t$ 的闭式表达代入，就是：

\mathcal L_{\text{simple}} =\mathbb E\left[ \left\|\epsilon-epsilon_\theta( \sqrt{\bar\alpha_t}x_0+sqrt{1-\bar\alpha_t}\epsilon,t) \right\|_2^2 \right]

这看起来只是一个均方误差，但它实际要求网络在不同时间步、不同噪声尺度下估计被加入的噪声，也等价地学习了指向高密度数据区域的方向。

“预测噪声”不是唯一参数化。现代实现也常预测 $x_0$ ，或预测结合 $x_0$ 与 $\epsilon$ 的 $v$ 。三者可以互相换算，但损失权重和数值特性不同。

训练算法

每次迭代只需要五步：

从数据集中采样 $x_0$ ；
均匀采样时间步 $t\in\{1,\ldots,T\}$ ；
采样 $\epsilon\sim\mathcal N(0,I)$ ；
构造 $x_t=\sqrt{\bar\alpha_t}x_0+\sqrt{1-\bar\alpha_t}\epsilon$ ；
最小化 $\|\epsilon-\epsilon_\theta(x_t,t)\|_2^2$ 。

时间步必须输入网络，否则同一个 $x_t$ 无法区分自己处于轻微噪声还是接近纯噪声的阶段。常见做法是用正弦位置编码或学习式 embedding 表示 $t$ 。

从噪声采样图像

训练完成后，先采样 $x_T\sim\mathcal N(0,I)$ ，再按 $t=T,\ldots,1$ 迭代：

x_{t-1}= \frac{1}{\sqrt{\alpha_t}} \left(x_t-\frac{\beta_t}{\sqrt{1-\bar\alpha_t}} \epsilon_\theta(x_t,t)\right)+\sigma_t z

其中 $z\sim\mathcal N(0,I)$ ；最后一步通常令 $z=0$ 。 $\sigma_t$ 由选定的反向方差方案决定。

这个过程的优点是稳定，缺点也很明显：原始 DDPM 往往需要数百到上千次网络前向计算，推理速度远慢于一次前向生成的模型。

为什么常用 U-Net

图像去噪既需要局部纹理，又需要跨区域的全局语义。U-Net 的下采样路径提取多尺度特征，上采样路径恢复空间分辨率，skip connection 保留细节；残差块、注意力和时间 embedding 则把不同尺度、不同噪声阶段的信息结合起来。

DDPM 去噪 U-Net 结构

网络可以很大，但数学接口始终简单：输入带噪样本和时间步，输出噪声、原图或 $v$ 的估计。

条件生成与 Classifier-Free Guidance

文本到图像模型还要建模条件 $c$ 。Classifier-free guidance（CFG）在训练时随机丢弃一部分条件，使同一个网络同时学会条件与无条件预测。采样时组合两次输出：

\epsilon_{\text{cfg}} =\epsilon_\theta(x_t,t,\varnothing) +s\left[ \epsilon_\theta(x_t,t,c)- \epsilon_\theta(x_t,t,\varnothing) \right]

$s$ 越大，结果通常越贴合提示词，但多样性可能下降，过大还会带来过饱和和伪影。它不是“越大越好”的质量旋钮。

DDIM、潜空间扩散与 Flow Matching

从 2026 年回看，需要把几条常被混在一起的路线分开：

DDIM 使用与 DDPM 相同的训练模型，但定义了不同的非马尔可夫采样过程；当随机项为零时可以确定性采样。它不只是“少跑几步的 DDPM”。
Latent Diffusion 先用自编码器把图像压到潜空间，再在潜变量上扩散，大幅减少计算量。Stable Diffusion 属于这条路线。
Flow Matching / Rectified Flow 学习连续时间的速度场，通过 ODE 把简单分布运输到数据分布。它与扩散模型关系紧密，但训练目标和采样动力学并不等同于 DDPM。

理解 DDPM 仍然是理解这些后续方法的最好起点：前向扰动如何定义、模型在预测什么、采样器如何利用预测，这三件事构成了生成模型设计的主干。