浅谈熵与贝叶斯

熵概述

熵

entropy

，用来描述概率分布的混乱程度，描述包含的信息量。

一般认为，越混乱的系统包含的信息量越大，反之确定的概率为1的系统不包含任何信息量。

以猜数字举例，猜1到100的一个数字，采用二分法的话需要

log_2(100)

次，从这个角度理解，

熵

是所有信息进行二进制编码需要的位数。

更一般的，对于一个概率分布X∼P(xi=pi)，其熵为：

H=−∑iNpilog(pi)

熵有以下特点：

P=1的系统熵最小，为0。

均匀分布的系统熵最大，为H=log2(n)，反之系统越偏斜熵越小。

对于自然界中的一个系统，熵只会增加不会减少，并且过程不可逆。

关于熵的公式有以下几个：

H(X|Y)H(X,Y)I(X,Y)=∑iNp(yi)∗H(X|y=yi)=H(X)+H(Y)−I(X,Y)=H(X)−H(X|Y)

其中，H(X,Y)可以理解成X,Y的联合概率分布的熵，I(X,Y) 可以理解成增加Y的

information gain

以及

mutual entropy

。

贝叶斯概述

P(X|Y)=P(Y|X)P(X)P(Y)

熵与贝叶斯

熵和贝叶斯都有一个大前提——知道概率分布。但是两者侧重不一样：

贝叶斯侧重于计算出新的概率分布，根据新的知识提取信息。

熵侧重于

keep score

，量化提取信息的程度。

例子

Monty Hall

三门问题（Monty Hall problem）亦称为蒙提霍尔问题、蒙特霍问题或蒙提霍尔悖论，大致出自美国的电视游戏节目Let’s Make a Deal。问题名字来自该节目的主持人蒙提·霍尔（Monty Hall）。参赛者会看见三扇关闭了的门，其中一扇的后面有一辆汽车，选中后面有车的那扇门可赢得该汽车，另外两扇门后面则各藏有一只山羊。当参赛者选定了一扇门，但未去开启它的时候，节目主持人开启剩下两扇门的其中一扇，露出其中一只山羊。主持人其后会问参赛者要不要换另一扇仍然关上的门。问题是：换另一扇门会否增加参赛者赢得汽车的机会率？如果严格按照上述的条件，即主持人清楚地知道，哪扇门后是羊，那么答案是会。换门的话，赢得汽车的机率是2/3。

这道题的关键是，主持人的操作，改变了原来的概率分布！

从概率的观点来看，坚持观点获胜的概率是0.33，改变观点获胜的概率是0.67。

从熵的观点来看，主持人提供信息之前的熵是H(X)=log2(3)=1.58，主持人提供信息之后的熵是H(X|Y)=0.33log2(3)+0.67log2(1.5)=0.92，所以主持人的

information gain

是I(X,Y)=1.58−0.92=0.66，占原来的熵比例是0.66/1.58=41.8%，也就是说，主持人将结果的不确定性减少了41.8%。

另一个的Monty Hall

现在将原问题稍作修改，有5个门，主持人打开没有奖的两个门。

从概率的观点来看，不改变观点获胜的概率是1/5，改变观点获胜的概率是2/5，失败的概率是2/5。

从熵的角度上看，原来的熵是2.32，主持人操作后熵是1.52，熵减了0.8，减少了34.5%。

投掷硬币

小明喜欢和大家玩投掷硬币的游戏，30%的时间他用均匀的硬币，70%的时间他用不均匀的硬币。均匀硬币正反的概率都是0.5，不均与的硬币正反的概率分别是0.4,0.6。

现在投掷的第一枚是正面，那么会造成：

Null	Fair	Un-Fair	Entropy
实验前	0.3	0.7	0.8813
实验后	0.35	0.65	0.9341