概率统计：条件独立

这个例子很好理解，A是熬夜，C是懒床，B是迟到。一般情况下，熬夜会增加懒床的概率，懒床会增加迟到的概率。当然，天气冷也会增加懒床的概率，堵车也会增加迟到的概率，现实生活中的可能性是很多的，我们现在只关注A熬夜和B迟到的概率P(A)、P(B)之间的关系。

　　显然，熬夜发生的情况下，迟到的概率是增加的。但有一种情况例外：就是已经知道今天已经懒床了，同时不知道是否熬夜了，也不知道是否会迟到，这时候，熬夜和迟到发生的概率就无关了。因为懒床已经确定（不管是因为熬夜、天气冷、工作轻松或者是其它任何原因产生的）的情况下，懒床导致的迟到可能性也确定了，熬夜已经不可能通过增加懒床的概率来间接增加迟到的概率了，那么迟到的概率和和熬夜的概率也就没有依赖关系了，记为：熬夜
╨ 迟到 | 懒床。

　　这种本来不是独立的随机事件，在满足一定条件下，他们独立了，这就叫有条件的独立，简称条件独立，可以帮助化简不少概率计算，在模式识别中也很有用。

　　Definition：if A ╨ B|C (meaning A is independent of B given C) means that given evidence at C, A is independent of B。

　　除了上面熬夜到迟到的例子，我们也可以用最直观的文氏图来说明这种情况：

首先，我们把全体Ｉ分为Ａ和非Ａ两部分






然后，我们引入Ｃ，从下图可以看出，Ａ中Ｃ的比例要高于非Ａ中Ｃ的比例，所以Ａ和Ｃ相关





最后，我们引入Ｂ，从下图可以看出，Ｃ中Ｂ的比例要高于非Ｃ中Ｂ的比例，所以Ｃ和Ｂ相关，但是，对于Ｃ中的Ａ和Ｂ的情况，可以看出无论Ａ发生与否，Ｂ都是大约2/3的概率，对于非C中的A和B的情况来看，无论A发生与否，B都是大约1/2的概率，也就是说，一旦C确定，B的概率就确定了，和A无关。





转载来源：http://angeleyes.diandian.com/?p=244