似然函数

深度学习

定义

似然函数（Likelihood Function）：给定一组观测数据，把概率看作参数 θ\theta 的函数：

L(θ)=p(数据∣θ)L(\theta) = p(\text{数据} \mid \theta)

最大似然估计（MLE） 就是找让这组数据「看起来最合理」的参数：

θ^=arg⁡max⁡θL(θ)\hat\theta = \arg\max_\theta L(\theta)

直观理解

先分清两个方向：

  • 概率：参数 θ\theta 固定，问「数据会出现什么」——是数据的函数；
  • 似然：数据已固定，问「哪个 θ\theta 最可能产生这组数据」——是参数的函数。

类比抛硬币：观测到「正、正、反」，问这枚硬币正面概率 θ\theta 是多少？θ=1\theta=1（永远正）无法解释那个「反」，θ=0\theta=0 也无法解释「正」，而 θ=2/3\theta=2/3 能让这组数据出现概率最大——这就是 MLE。

一句话：似然是「倒过来看」的概率——不关心某个参数下会看到什么，而是问看到这组数据时，参数最可能是多少。

公式推导

线性回归例子：MLE = 最小二乘

假设 y=θTx+εy = \theta^T x + \varepsilon，噪声 ε∼N(0,σ2)\varepsilon\sim\mathcal N(0,\sigma^2)，则 y(i)∼N(θTx(i), σ2)y^{(i)}\sim\mathcal N(\theta^T x^{(i)},\ \sigma^2)。对 mm 个样本：

L(θ)=∏i=1m12π σexp⁡ ⁣(−(y(i)−θTx(i))22σ2)L(\theta)=\prod_{i=1}^{m}\frac{1}{\sqrt{2\pi}\,\sigma}\exp\!\left(-\frac{(y^{(i)}-\theta^T x^{(i)})^2}{2\sigma^2}\right)

连乘难求导，取对数（单调变换，不改变极值点）：

log⁡L(θ)=∑i=1mlog⁡ ⁣[12π σexp⁡ ⁣(−(y(i)−θTx(i))22σ2)]\log L(\theta)=\sum_{i=1}^m \log\!\left[\frac{1}{\sqrt{2\pi}\,\sigma}\exp\!\left(-\frac{(y^{(i)}-\theta^T x^{(i)})^2}{2\sigma^2}\right)\right]

展开并约掉常数：

log⁡L(θ)=mlog⁡12π σ⏟常数 A−12σ2∑i=1m(y(i)−θTx(i))2⏟与 θ 有关的项 B\log L(\theta) = \underbrace{m\log\frac{1}{\sqrt{2\pi}\,\sigma}}_{\text{常数 }A} - \underbrace{\frac{1}{2\sigma^2}\sum_{i=1}^m (y^{(i)}-\theta^T x^{(i)})^2}_{\text{与 }\theta\text{ 有关的项 }B}

最大化 log⁡L(θ)\log L(\theta) 等价于最小化 BB，即：

J(θ)=12∑i=1m(y(i)−θTx(i))2J(\theta)=\frac12\sum_{i=1}^m (y^{(i)}-\theta^T x^{(i)})^2

结论：在高斯噪声假设下，最大似然估计就退化为最小二乘法。

与扩散模型的联系

扩散模型真正想最大化的是数据对数似然 log⁡pθ(x0)\log p_\theta(x_0)，但 pθ(x0)p_\theta(x_0) 需要对所有中间潜变量 x1:Tx_{1:T} 积分，无法直接算。于是用变分推断松弛成可优化的下界 ELBO：

log⁡pθ(x0)≥Eq(x1:T∣x0)[log⁡pθ(x0:T)q(x1:T∣x0)]\log p_\theta(x_0) \geq \mathbb E_{q(x_{1:T}\mid x_0)}\left[\log\frac{p_\theta(x_{0:T})}{q(x_{1:T}\mid x_0)}\right]

「似然函数 → 变分下界 → 逐项化简」正是 扩散模型的损失推导 的完整脉络。

相关