判别模型与生成模型

监督学习方法可以分为 生成方法 和 判别方法，所学到的模型分别称为 生成模型 和 判别模型。

生成方法

生成方法是指由数据学习联合概率分布 P(X,Y)P(X,Y) ,然后求出条件概率分布 P(Y|X)P(Y|X) 作为预测的模型，即生成模型：

P(Y|X)=P(X,Y)P(X)P(Y|X)=P(X,Y)P(X)

生成模型关注的是：给定输入 XX 产生输出 YY 的生成关系。

典型的生成模型有： 朴素贝叶斯模型 和 因马尔科夫模型。

生成方法的特点 : 生成方法可以还原出联合概率分布 P(X,Y)P(X,Y)，而判别方法则不能；生成方法的学习收敛速度更快，而且当存在隐变量时，仍可以使用生成模型，而判别模型就不能用。

判别方法

判别方法由数据直接学习 决策函数 f(X)f(X) 或者条件概率分布 P(Y|X)P(Y|X) 作为预测的模型，即判别模型。

判别方法更关心的是： 给定输入 XX ，应该预测出什么样的输出 YY 。

典型的判别模型有：kk 近邻法、感知机、决策树、LogisticLogistic 回归模型、最大熵模型、支持向量机、提升方法 和 条件随机场 等。

判别方法的特点：判别方法直接学习的是 条件概率 P(Y|X)P(Y|X) 或决策函数 f(X)f(X)， 直接面对预测，往往学习的准确率更高。