关于熵的数学基础

第一次写博客，呵呵。

在看自然语言处理的一个课件里关于“熵”一部分，本文记录一些基本公式和一些自己的理解。

部分文字和公式的图片是直接从ppt中拿下来的，侵删。

什么是熵？课件里的原话：熵又称为自信息(self-information)，表示信 源 X 每发一个符号(不论发什么符号)所提供的 平均信息量。熵也可以被视为描述一个随机变 量的不确定性的数量。一个随机变量的熵越大， 它的不确定性越大。那么，正确估计其值的可 能性就越小。越不确定的随机变量越需要大的 信息量用以确定其值。

熵的单位一般是bit。

举个例子：简单的波利尼西亚语(Polynesian)是一些随机 的字符序列，按它的字符出现的概率计算出的熵H(P)=2.5（bits），那么就说明，我们可以设计一种编码，传输一 个字符平均只需要2.5个比特。

公式：

如果 X 是一个离散型随机变量，其概率分布为： p(x) = P(X = x)，

。X 的熵
H(X) 为：



其中，约定 0log 0 = 0。 H(X) 也可以写为 H(p)。通常熵的单位为二进制位 比特 (bit)。

联合熵(joint entropy)：

如果 X, Y 是一对离散型随机变量 X, Y ~ p(x, y)， X, Y 的联合熵 H(X, Y) 为：



条件熵(conditional entropy):

给定随机变量 X 的情况下，随机变量 Y 的条件 熵定义为:



连锁规则：