熵

熵是衡量一个概率分布本身的”不确定性”

公式是:

$H(p)=-\sum_{x} p(x)\log p(x)$

直觉: 一个事件越难预测, 熵越大;越容易预测, 熵越小

抛硬币的例子

情况A: 公平硬币

p(head) = 0.5, q(tail)=0.5 你很难提前猜中, 所以不确定性高, 熵较大

如果用log2, 熵是: $H(p)=-[0.5\log_2 0.5+0.5\log_2 0.5]=1$ 也就是1bit

情况B: 偏置硬币 p(head)=0.99, p(tail)=0.01 几乎总是正面, 很容易猜, 所以不确定性低, 熵较小

$H(p)=-[0.99\log_2 0.99+0.01\log_2 0.01]\approx 0.081$ bit

几乎没有不确定性——你猜”正面”就对了。