高斯分布

深度学习

定义

高斯分布（Gaussian distribution），又称正态分布，是概率论中最重要的一种连续分布，概率密度函数（PDF）为：

f(x)=12π σexp⁡ ⁣(−(x−μ)22σ2)f(x)=\frac{1}{\sqrt{2\pi}\,\sigma}\exp\!\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)

  • μ\mu：均值，决定分布的中心位置
  • σ\sigma：标准差，决定分布的展宽程度
  • μ=0, σ=1\mu=0,\ \sigma=1 时称为标准正态分布 N(0,1)\mathcal N(0,1)

直观理解

高斯曲线呈钟形，关于均值对称，概率密度随离均值距离增大而衰减。大部分取值集中在均值附近，远离均值的取值很少出现。

68-95-99.7 法则（经验法则）：对任意高斯分布，

  • 约 68% 的取值落在 μ±σ\mu \pm \sigma 内
  • 约 95% 落在 μ±2σ\mu \pm 2\sigma 内
  • 约 99.7% 落在 μ±3σ\mu \pm 3\sigma 内

为什么高斯分布无处不在？ 核心是中心极限定理：大量独立随机变量的和（不管各自是什么分布）会趋向于高斯分布。测量误差、噪声、群体身高……都是大量微小因素叠加的结果，所以都近似高斯。

公式推导

重参数化技巧

采样 x∼N(μ,σ2)x\sim\mathcal N(\mu,\sigma^2) 时，随机性可以拆出来：

x=μ+σ ε,ε∼N(0,1)x = \mu + \sigma\,\varepsilon,\quad \varepsilon\sim\mathcal N(0,1)

这样 μ,σ\mu,\sigma 仍可求梯度，ε\varepsilon 只负责提供随机性——这就是 VAE 中让「采样」可反向传播的关键技巧。

多维高斯

推广到 dd 维向量 xx：

f(x)=1(2π)d/2∣Σ∣1/2exp⁡ ⁣(−12(x−μ)TΣ−1(x−μ))f(x)=\frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}}\exp\!\left(-\frac12(x-\mu)^T\Sigma^{-1}(x-\mu)\right)

其中 μ\mu 是均值向量，Σ\Sigma 是协方差矩阵。Σ=I\Sigma=I 时退化为各向同性的标准高斯。

与扩散模型的联系

标准正态分布是扩散模型全程的「锚点」：

  • 前向终点：diffusion process 把数据逐步加噪，xT∼N(0,I)x_T\sim\mathcal N(0,I) 收敛到标准高斯；
  • 每步转移：q(xt∣xt−1)=N(xt;1−βt xt−1,βtI)q(x_t\mid x_{t-1})=\mathcal N(x_t;\sqrt{1-\beta_t}\,x_{t-1},\beta_t I) 是高斯的；
  • 后验可解：q(xt−1∣xt,x0)q(x_{t-1}\mid x_t,x_0) 仍是高斯，这正是 扩散模型的损失推导 能推出闭式解的前提。

一句话：扩散模型能「反过来去噪」，本质上是高斯分布的好性质（高斯的条件分布仍是高斯）在起作用。

相关