【MachineLearing】判别模型与生成模型以及相关概率统计知识

【MachineLearing】判别模型与生成模型以及相关概率统计知识

@(Machine Learning)

碎碎念：导师要求看一篇关于GAN的论文，刚懂机器学习一些皮毛的我就差不多要从零开始，从结果出发，一步一步来记录下学习的轨迹，先复习下概率统计的相关知识。

条件概率、联合概率、边缘概率

条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为：P（A|B），读作“在B条件下A的概率”。

理解起来就是：B是前提，A是可能发生的事件。

条件概率的表达式：

P(A|B)=P(AB)P(B)P(A|B)=P(AB)P(B)

联合概率是指在多元的概率分布中多个随机变量分别满足各自条件的概率。假设X和Y都服从正态分布，那么P{X<4,Y<0}就是一个联合概率，表示X<4,Y<0两个条件同时成立的概率。表示两个事件共同发生的概率。A与B的联合概率表示为 P(AB) 或者P(A,B),或者P（A∩B）。

联合概率就是同时满足多个变量的条件，我是这么理解的：如果有2个变量X、Y，那么概率P可以看作是X、Y同时约束的函数，函数图像是3维的。

边缘概率 Marginal Probability 是某个事件发生的概率，而与其它事件无关。边缘概率是这样得到的：在联合概率中，把最终结果中不需要的那些事件合并成其事件的全概率而消失（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率）。

边缘概率很好理解，就是平时用到的概率P(A)等，就是和其他变量无关的概率。

先验概率、后验概率与全概率、贝叶斯公式

先验概率：

先验概率（prior probability）是指根据以往经验和分析得到的概率，如全概率公式，它往往作为”由因求果”问题中的”因”出现的概率。

后验概率：

后验概率是指在得到“结果”的信息后重新修正的概率,如贝叶斯公式中的。是“执果寻因”问题中的果。

比如说，一个黑箱子里面有一个东西，你觉得里面是一条狗，概率为P(A)，是根据以往的经验和分析得到的概率，是先验概率；之后你听到箱子里面传来狗叫，该事件表示为B，听到狗叫后，你觉得里面是条狗的概率为P(A|B)，这就是后验概率。在这里狗叫就是得到“结果”的信息后的重新修正。

另外， 后验概率在某些情况下是条件概率的一种，它们之间不不同和关系可以参考知乎：

https://www.zhihu.com/question/22905989

全概率与贝叶斯公式：

这里推荐一篇我觉得很好的博客：

http://blog.csdn.net/luc9910/article/details/54377626

全概率公式：

P(A)=P(B1)P(A|B1)+P(B2)P(A|B2)+P(B3)P(A|B3)+⋅⋅P(A)=P(B1)P(A|B1)+P(B2)P(A|B2)+P(B3)P(A|B3)+⋅⋅

贝叶斯公式：

P(Bi|A)=P(ABi)P(A)=P(Bi)P(A|Bi)∑jP(Bj)P(A|Bj)P(Bi|A)=P(ABi)P(A)=P(Bi)P(A|Bi)∑jP(Bj)P(A|Bj)

把全概率和贝叶斯公式结合起来就好理解了：

Bi是造成A的原因的多个事件，某些情况下直接求P(A)不好求，所以可以间接求得导致A生成的各互斥部分的概率P(Bi)P(A|Bi)的和求的P(A)，这就是全概率。

对于贝叶斯，可以理解成为全概率的逆过程。该部分结合上面的后验概率更好理解。贝叶斯可以理解为，事件A已经发生了，那么导致事件A发生的原因事件是Bi的概率是多少呢？那就是P(Bi|A)，结合条件概率，也就是A发生的情况下，Bi发生的概率，注意贝叶斯公式中， 分母正是事件A的全概率。

这部分很容易混淆，结合上面博客中的例子就更好理解了。

判别模型（Discriminative Model）与生成模型（Generative Model）

参考过的一些有用的链接，感谢作者：

http://blog.csdn.net/lk7688535/article/details/52353350

https://www.cnblogs.com/zeze/p/7047630.html

https://www.zhihu.com/question/20446337

http://www.gooseeker.com/cn/node/knowledgebase/discriminative_generative_model

WIKI：（十分非常推荐WIKI上面的Machine Learning部分的概率例子。经典！！！）

https://en.wikipedia.org/wiki/Generative_model#Discriminative_models

有了上面部分的概率统计的基本知识，就比较好理解判别模型和生成模型了！

生成方法和判别方法在机器学习中的关系：



假设输入为x，标签(label)为y，判别模型生成的是条件概率P(y|x)，而生成模型生成的是联合概率P(x, y)，可以理解为自变量x,y的P的产生式。联合概率根据贝叶斯公式是可以转换为条件概率的。

机器学习中基本的逻辑回归、SVM、基础神经网络，都是判别模型，能够很好地应用到分类问题之中。

而与GAN相关的生成模型，一个重要的特点就是能够利用P(x, y)来生成类似已有数据的新数据。