生成模型与判别模型
2017-09-10 16:57
260 查看
概念理解
监督学习方法可分为两大类,即生成方法与判别方法,它们所学到的模型称为生成模型与判别模型。判别模型:判别模型是学得一个分类面(即学得一个模型),该分类面可用来区分不同的数据分别属于哪一类;
生成模型:生成模型是学得各个类别各自的特征(即可看成学得多个模型),可用这些特征数据和要进行分类的数据进行比较,看新数据和学得的模型中哪个最相近,进而确定新数据属于哪一类。
举个例子:若分类目标是对图像中的大象和狗进行分类。判别方法学得一个模型,这个模型可能是判断图中动物鼻子的长度是否大于某一阈值,若大于则判断为大象,否则判断为狗;生成学习则分别构建一个大象的特征模型与狗的特征模型,来了一个新图像后,分别用大象模型与狗模型与其进行比较,若新图像与狗相似度更高则判断为狗,否则判断为大象。
相关数学理论
若已知某分类任务的生成模型,是可以求得该任务的判别模型,反之则不行。这和概率论中的全概率密度函数以及边沿概率密度函数是一致的(即已知全概率密度可求得边沿概率密度,但已知边沿概率密度不能求得全概率密度)。例如:若现在已知一个二分类问题获得的5个训练数据为:(1,0),(1,0),(2,0),(2,1),(2,1)
1、全概率分布P(X,Y)如下表所示
X\Y | 0 | 1 |
---|---|---|
1 | 2/5 | 0 |
2 | 1/5 | 2/5 |
2、边沿概率分布P(Y|X)如下表所示
X\Y | 0 | 1 |
---|---|---|
1 | 1 | 0 |
2 | 1/3 | 2/3 |
X\Y | 0 | 1 |
---|---|---|
1 | 4/7 | 0 |
2 | 1/7 | 2/7 |
两类方法的特点
生成方法通常需要无穷多样本,进而学习一个联合概率分布P(X,Y),然后求出条件概率分布P(Y|X)=P(X,Y)/P(X)来对新输入的数据进行分类。此类方法之所以成为生成方法,是因为模型表示了给定输入X产生输出Y的生成关系。典型的生成模型有:朴素贝叶斯法、马尔科夫模型、高斯混合模型。这种方法一般建立在统计学和Bayes理论的基础之上。
生成方法的特点:
从统计的角度表示数据的分布情况,能够反映同类数据本身的相似度;
生成方法还原出联合概率分布,而判别方法不能;
生成方法的学习收敛速度更快、即当样本容量增加的时候,学到的模型可以更快地收敛于真实模型;
当存在隐变量时,仍然可以用生成方法学习,此时判别方法不能用
判别方法可以根据有限个样本获得一个判别函数(即判别模型),然后用它来对新数据进行分类。典型的判别模型包括:k近邻法、感知机、决策树、逻辑斯蒂回归模型、最大熵模型、支持向量机、boosting方法和条件随机场等。
判别方法的特点:
判别方法寻找不同类别之间的最优分类面,反映的是异类数据之间的差异;
判别方法利用了训练数据的类别标识信息,直接学习的是条件概率P(Y|X)或者决策函数f(X),直接面对预测,往往学习的准确率更高;
由于直接学习条件概率P(Y|X)或者决策函数f(X),可以对数据进行各种程度上的抽象、定义特征并使用特征,因此可以简化学习问题;
缺点是不能反映训练数据本身的特性。
两类方法的应用
根据所获取的数据,两类方法都有各自的用场。例如:我们若只有人的侧面数据,我们当然不知道这个人是否长得帅、美,但我们可做(男、女)、(有耳、无耳)分类。用生成模型来做的话,则表示这个人全部信息都有了,当然能做的分类更多了。参考文献
统计学习方法 李航著,清华大学出版社图解机器学习
生成模型与判别模型
斯坦福第五章:判别学习方法和生成学习方法的区别
生成模型和判别模型
相关文章推荐
- 判别模型 和 生成模型
- 判别模型、生成模型与朴素贝叶斯方法
- 什么是判别模型(Discriminative Model)和生成模型(Generative Model)
- 判别模型、生成模型与朴素贝叶斯方法
- 生成模型与判别模型
- 生成模型和判别模型
- 判别模型VS生成模型
- 判别模型、生成模型与朴素贝叶斯方法
- 【MachineLearing】判别模型与生成模型以及相关概率统计知识
- 判别模型 和 生成模型
- 判别模型和生成模型
- 生成模型与判别模型
- 判别模型和生成模型
- 生成模型与判别模型
- 机器学习:判别模型与生成模型
- 判别模型与生成模型
- 【机器学习】生成模型和判别模型
- 判别模型、生成模型和朴素贝叶斯模型
- 生成模型与判别模型
- 生成模型与判别模型