概率论基础之一：事件的概率

第1章 组合分析

1.1 计数法则

计数基本法则：有两个试验，试验1有m种可能发生的结果，而对于试验1的每一个结果，试验2有n种可能发生的结果，则对两个试验来说，一共有m*n种可能结果。

计数法则推广：一共有k个试验，第一个试验有n1种可能结果；对于第一个试验的每一种结果，第二个试验有n2种可能结果；对应于前两个试验的每一种试验结果，第三个试验有n3种可能结果；等等，则这r个试验一种有n1n2…nk种可能结果。

示例：一个句子有3个多义词，每个词都有2种不同的含义，在不考虑上下文的语义情况下，这个句子共有2*2*2=8种不同理解的方式。

1.2 排列与组合

排列计数：按任意顺序来排列n个不同元素，则所有可能的排列方法的种类

为Pnn

组合计数：从n个不同的元素中取出m个组成一组，则所有可能的取法种类为Cmn，注意m个元素与顺序无关。

示例：有6个字符PPPEER进行排列，共有多少种排列方法。

首先，如果字符是不同的，比如编号为P1 P2 P3 E1 E2 R1，那么排列数为6!

其次，如果认为相同的字符无区别，则这是一个分步组合问题，第一步，为R选择一个位置，第二步为两个E选择两个位置，第三步为3个P选择位置，因此不同方法数为C16C25C33=60

记号： Cmn=Pmnm!=n!(n−m)!m!

1.3 多项式系数

如果n1+n2+...+nr=n，定义Cn1,n2,...,nrn=n!n1!n2!...nr!，其表示n个不同元素分成大小分别为n1,n2,…,nr的r组的方法，也称其为多项式系数。

多项式定理: (x1+x2...+xr)n=∑(n1...nr):n1+n2+...+nr=nCn1,n2,...,nrnxn11xn22...xnrr

当r=2时，有二项式定理(x+y)n=∑k=0nCknxkyn−k

第2章 概率公理化

2.1 样本空间与事件

假设某种实验的结果是不可预测的，但所有可能结果的集合是已知的，称所有结果的集合为此类试验的样本空间S，样本空间中任一子集E称为事件，即E⊂S。如果试验结果包含在E中，则称为E发生。

例如，对于抛硬币的实验，样本空间S={正面，反面}，事件E={正面}，E表示硬币为正面朝上

对于同一个样本空间S的任两个事件E和F，新的事件E∪F称为E和F的并，表示事件只要E和F中任一事件发生。

E∩F表示E和F中事件同时发生，如果E∩F为空集，则称E和F是不相容的。

一个事件的补事件 记作Ec，表示定义在S中但不包含在E里的所有结果构成的事件。

2.2 概率论公理

古典概率：对于样本空间S里的事件E，记c为n次重复试验中事件E发生的次数，则E发生的概率

P(E)=limn→∞cn

概率公理化：满足以下三条公理的P(E)称为事件E的概率

公理1： 0≤P(E)≤1

公理2： P(E)=1

公理3：对任一系列互不相容的事件，有

P(⋃i=1∞Ei)=∑i=1∞P(Ei)

2.3 若干推论

P(Ec)=1−P(E)

如果E⊂F，则P(E)≤P(F)

P(E∪F)=P(E)+P(F)−P(EF)

P(E1∪E2...∪En)=∑P(Ei)+∑P(EiEj)+∑P(EiEjEk)−...+(−1)n+1P(E1E2...En)

2.4 等可能结果的样本空间

如果样本空间所有结果发生的可能性相同，因此有： P(E)=E中的结果数S中结果数

第3章 条件概率与独立事件

3.1 条件概率

条件概率定义：假定F发生的情况下E发生的概率为P(E|F)，如果P(F)>0，则有P(E|F)=P(EF)P(F)

示例：抛硬币两次，两次均为正面的概率为1/4。有一次为正面条件下两次均为正面的概率为1/3

乘法规则：P(E1E2...En)=P(E1)P(E2|E1)P(E3|E1E2)...P(En|E1...En−1)

示例：假设3个词构成了一个句子S=(今天,布,下雪)，为了计算这个句子的概率，可以由条件概率的乘法规则进行计算P(S)=P(今天)P(布|今天)P(下雪|今天布)。在拼音输入法，或者语音识别中，常需要计算这种句子的概率以判断哪个句子是最有可能的结果。

3.2 Bayes公式

全概公式：P(E)=P(EF)+P(EFc)=P(E|F)P(F)+P(E|Fc)P(Fc)

全概公式说明事件E发生的概率，等于在F发生条件下E的条件概率与在F不发生条件下E发生的条件概率的加权平均，权重是作为条件的事件发生的概率。下面是由条件概率与全概率公式推导出来贝叶斯公式可。

Bayes公式P(Fj|E)=P(E|Fj)P(Ej)P(E)=P(E|Fj)P(Fj)∑ni=1P(E|Fi)P(Fi)

如果将公式的E看作结果，F看作导致E的各种原因，公式就是在已知结果时，计算在给定结果下，是某种原因的可能性大小。

如果将公式写为：

P(H|D)=P(D|H)P(H)P(D)

P(H)称为先验概率，即在没有数据前某一假设的概率

P(H|D)称为后验概率，即在补充某种数据证据后，要计算的假设的概率

P(D|H)称为似然度，是在假设下得到的某种统计数据

P(D)称为标准化常量,是无任何假设下，得到某种统计数据的概率

示例：一项医学检查有95%的概率检测出某种疾病，但也有0.1%的概率将健康人检测出得病，统计知得此病的人口占比为0.5%。若某人化验结果呈阳性，问此人确实患病的概率？

假设\类别	先验概率P(H)	似然度P(D|H)	后验概率(P(H|D))
A 此人患病	0.005	0.95	0.95∗0.0050.95∗0.005+0.995∗0.001=0.827
B 此人健康	0.995	0.001	0.173

|

示例：现有5种骰子，分别为4面，6面，8面，16面，20面，现在从中选一个并抛出了点6，问哪种骰子被选中的概率最大。

P(X面的骰子)=1/5为先验概率，P(点6|X面的骰子)=1/X，为似然度，这样很容易通过上例的表格法得到P(X面的骰子|点6)最大的为6面骰子。

事件的优势：称P(A)P(Ac)=P(A)1−P(A)为事件A的优势，它告诉我们事件发生的可能性是不发生的可能性的倍数。

3.3 独立事件

独立定义：如果两个事件E和F，若P(EF)=P(E)P(F)，则称其为独立的。

也就是说P(E|F)=P(E)，F的发生与否，都不影响E发生的概率。

推论：如果E和F独立，则E与F的补集也独立。