生成模型与判别模型

有监督机器学习方法可以分为生成方法和判别方法（常见的生成方法有混合高斯模型、朴素贝叶斯法和隐形马尔科夫模型等，常见的判别方法有SVM、LR等），生成方法学习出的是生成模型，判别方法学习出的是判别模型。

HMM 是生成模型，因为它对状态序列本身的分布 P(X) 和给定状态后观测值的分布 P(Y|X) 都进行了建模。

DNN 是判别模型，因为它直接对给定观测值后状态的分布 P(X|Y) 进行建模。

在 HMM-DNN 这个框架中，DNN 代替了传统上用于建模 P(Y|X) 的高斯混合模型。但 DNN 给出的分布是 P(X|Y) 的形式，所以需要使用贝叶斯公式转换成 P(Y|X)。

接着对生成模型和判别模型做更详细一点的解释。
这里定义训练数据为(C,X)，C={c1,c2,....cn}是n个训练样本的label，X={x1,x2....xn}是n个训练样本的feature。定义单个测试数据为(

,

),

为测试数据的lable，

是测试样本的feature。

1）训练完毕后，输入测试数据，判别模型直接给出的是

，即输出（label）关于输入（feature）的条件分布，实际上，这个分布的条件还有训练数据---------因为实际上我们是“看过”训练数据之后，学习到了对数据分布的后验认识，然后根据这个认识和测试样本的feature来做出测试样本属于哪个label的决策的，所以有

=

。

我们认为这个条件分布

由参数

决定的，

即

------------------------------------------------------------------------------------------------------------①

那么如何由

得到

呢？如果我们可以求出参数

关于训练数据的的后验分布（这其实就是学习过程）

，那么就可以由


=

=

=

------------②

来得到想要的答案（关于②如何得到，请参考其他地方的讨论PRML第一章公式1.68如何推导？ - 机器学习 - 知乎，第31页公式1.68怎么推导的啊..）。

所以现在问题转化成了求条件分布的参数

关于训练数据（C,X）的后验分布

。那么我们来看看怎么求这个后验分布。条件分布关于训练数据的似然函数


=

=

--------------------------------------------------------------------------③

有没有发现

和

有一点像？像在

和C互换了位置，互为条件概率，可以考虑使用贝叶斯公式来进行转化，即


=

------------------------------------------------------------------------------④

所以现在问题又进行了转化，变成了求条件分布关于训练数据的似然函数、参数

的先验分布和C关于X的条件分布三个小问题。我们已经知道似然函数怎么求，先验分布也不需要求（先验知识，就是我们在解决问题之前已经知道的知识），而


=

=

----------------------------------------------⑤

至此问题已经解决，综合上述①-⑤各式，我们终于可以求出输出关于输入的条件分布啦！


=

---------------------------------------------------⑥

⑥中的两个积分的计算是很麻烦的，在实际解决问题的过程中要想办法省略掉。

对于②中积分公式可以使用variational inference的方法干掉，variational inference用一句话来说就是：如果训练样本足够多的话，可以使用

的最大后验分布

来对

进行点估计(point
estimate)。即有：


=

=

----------------------------------------------------------------------⑦

所以我们干掉了第一个积分问题，把问题简化成了求

的最大后验概率

。

观察④式可以发现分子

是常数，如果我们省略掉④中的分子

对结果是没有影响的（只需要对分子进行normalize就可以得到后验概率

），那么我们又干掉了第二个积分公式，将问题简化成了求

的最大值。如果先验分布在似然函数较大的区间是固定不变或变化较小的，那么问题又可以转化成求最大似然函数！
实际上，在噪声高斯分布的假设下，最小误差平方和优化问题（即求使误差平方和最小的参数）等价于求最大似然函数（即使似然函数最大的参数）。

作者：lixin liu

链接：https://www.zhihu.com/question/22374366/answer/155544744

来源：知乎

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

生成模型可以产生数据，判别模型只能根据数据做判断。

其实看名字还比较明显吧：Generative models can generate data. Discriminative models discriminate (given) data.

生成模型（Generaive Model）一般以概率的方式描述了数据的产生方式，通过对模型采样就可以产生数据。

一个简单例子：给定平面上一系列点

，其中

。我可以认为这些点是根据一个二维高斯分布


产生的，这就是一个生成模型，它可以产生数据。我可以用最大似然方法，根据已有的

样本估计出

和


。把这两个参数填回模型

，再对这个模型进行采样，就可以得到更多的样本

，这些样本和之前的样本在空间分布上可能差不多。

高斯混合模型也满足这样的特征，因此它也是一个生成模型。具体来说，一个简单的高斯混合模型是这样的：给定类别总数

，总共

组高斯分布的参数


和

。对于指标

，有


，以及

。

这其实就已经给出了数据的生成方式，先通过均匀分布产生一个类别号

（当然也可以搞带权重的），再根据这一类的参数

和


产生一个样本点

。注意这里的数据指的是

这个整体。一般应用中，我们只能拿到部分数据，也就是


。可以通过EM之类的算法估计未知参数

和

。之后我们把估计出的参数值填回模型里，就可以根据这个模型继续生成更多的数据


。所以说混合高斯模型是个生成模型。

判别模型（Discriminative Model）对数据之间的映射关系建模，而不考虑数据本身是如何生成的。判别模型可以根据给定的数据

预测对应的

（回归），或根据不同的映射结果

来区分（discriminate）给定的数据


（分类）。但模型自身并不能产生数据

。

举例：

1、SVM。超平面

把样本空间分割成两部分，当给定数据

落在正半平面时则判定为第一类，负半平面判定为第二类。给定空间中两簇点


和

，可以训练一个SVM进行分类，但是SVM不能像高斯混合模型那样生成更多的点

。

2、线性回归

。根据给定的数据

，通过最小二乘方法可以估计出模型参数


和

的值。进一步，对于新的数据

该模型可以产生一个预测值

，但该模型不能产生更多的


。

3、使用神经网络做人脸识别。一个神经网络可以根据输入的一张人脸。判定这个人是谁，但这个神经网络不能产生更多的人脸。

生成模型对数据本身建模，更基础。判别模型只考虑输入和输出之间的关系，更直接地面向问题。如果希望用生成模型完成判定模型的任务，一般需要额外的步骤。比如对于多类的分类问题，一个多类SVM可以直接根据输入数据给出分类结果，而使用混合高斯模型的话，则还需要计算后验分布之类的东西。

最后简单发表一下个人看法。目前的答案基本都局限在分类问题上讨论二者的区别，也就有如生成模型对data和label的联合分布建模，而判定模型对label given data的条件分布建模这样的说法。这种说法固然没什么问题，但是我觉得对于讨论两种模型的区别而言显得狭义了一点。我倒是倾向把这个问题放在更一般的情况下讨论，也就是说他们最大的区别在于是面向数据的生成方式建模（how to generate data）还是直接面向判别问题建模（how to descriminate），能生成数据的是生成模型，而只考虑数据之间映射关系的是判别模型。