马尔可夫链

马尔可夫链（Markov Chain） 是一种描述”状态如何随机变化”的数学模型。它的核心特点是：

下一步只取决于当前状态，不取决于过去怎么来的。

或者说: “只看现在，不管过去”的随机状态转移模型。

这叫做马尔可夫性质：

$P(X_{n+1}=j \mid X_n=i, X_{n-1},\dots,X_0) = P(X_{n+1}=j \mid X_n=i)$

也就是说，只要知道现在在哪个状态，就足够预测下一步的概率分布。

一个简单例子

假设天气只有两种状态：

• 晴天
• 雨天

今天是晴天，那么明天天气的概率可能是：

这张表叫做转移概率矩阵：

$P= \begin{pmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{pmatrix}$

含义是：

• 今天晴天，明天有 0.8 概率继续晴天，0.2 概率变雨天。
• 今天雨天，明天有 0.4 概率变晴天，0.6 概率继续雨天。

核心元素

1. 状态空间

系统可能处于的所有状态。

例如：$S=\{\text{晴天}, \text{雨天}\}$

2. 转移概率

从一个状态跳到另一个状态的概率。

例如：

$P(\text{雨天明天变晴天})=0.4$

3. 初始分布

一开始系统处在哪些状态的概率。

例如今天有 100% 概率是晴天：

$\pi_0=(1,0)$

多步预测

如果今天的状态分布是 $\pi_0$，转移矩阵是 $P$，那么：

• 一天后：$\pi_1=\pi_0 P$
• 两天后：$\pi_2=\pi_0 P^2$
• n 天后：$\pi_n=\pi_0 P^n$

直观理解

马尔可夫链可以看成一个人在不同状态之间随机跳转。

例如：

晴天 ──0.2──> 雨天
晴天 ──0.8──> 晴天

雨天 ──0.4──> 晴天
雨天 ──0.6──> 雨天

每一步的选择是随机的，但概率规则是固定的。

常见应用

马尔可夫链常用于：

• 天气预测
• 股票状态建模
• 语言模型
• 排队系统
• PageRank 网页排序
• 生物序列分析
• 强化学习
• 随机游走
• 蒙特卡洛方法

一个重要概念：稳态分布

有些马尔可夫链运行很久之后，状态分布会趋于稳定。

也就是说：$\pi P=\pi$

这个 $\pi$ 叫做平稳分布或稳态分布。

它表示系统长期来看处在各个状态的比例。例如天气系统长期可能变成：$\pi=(\frac{2}{3}, \frac{1}{3})$

意思是长期来看，大约三分之二时间是晴天，三分之一时间是雨天。