台大林轩田《机器学习基石》学习笔记7:线性模型三(Multiclass Prediction)
2016-10-17 23:49
344 查看
线性模型 - Linear models
MulticlassPrediction 多级预测
做选择题(常用来解决辨识问题),用已有的是非题的解法去解决,两个思路:
(1)OVA(One-Versus-All),先尝试用二元分类将每一个“某类”和其他类分开,把所有分类结果合成起来combine binary classifiers,则会出现左图的问题,有些区域有争抢而有些区域大家都不要的情况;为了解决这个问题,用soft分类器代替二元分类器,也就是用Logistic将每一个“某类”在区域中的概率算出来,如右图,于是在合成所有结果combine soft classifiers有争议的时候,根据概率最大来判断即可
Pros:有效;Logistic可以被很多其他方法取代而得到各种重组方法
Cons:若类别过多,圈和叉比例严重失衡,很影响分类结果
(2)OVO(One-versus-One at a time),有些像足球小组赛,两两versus一次,即先将每一对“A类和B类”分开(如下图,不考虑其他类),最后把所有分类结果合成起来
Pros:解决了OVA数据太大时失衡的问题;二分算法可以有很多选择
Cons:时间空间复杂度被平方
MulticlassPrediction 多级预测
做选择题(常用来解决辨识问题),用已有的是非题的解法去解决,两个思路:
(1)OVA(One-Versus-All),先尝试用二元分类将每一个“某类”和其他类分开,把所有分类结果合成起来combine binary classifiers,则会出现左图的问题,有些区域有争抢而有些区域大家都不要的情况;为了解决这个问题,用soft分类器代替二元分类器,也就是用Logistic将每一个“某类”在区域中的概率算出来,如右图,于是在合成所有结果combine soft classifiers有争议的时候,根据概率最大来判断即可
Pros:有效;Logistic可以被很多其他方法取代而得到各种重组方法
Cons:若类别过多,圈和叉比例严重失衡,很影响分类结果
(2)OVO(One-versus-One at a time),有些像足球小组赛,两两versus一次,即先将每一对“A类和B类”分开(如下图,不考虑其他类),最后把所有分类结果合成起来
Pros:解决了OVA数据太大时失衡的问题;二分算法可以有很多选择
Cons:时间空间复杂度被平方
相关文章推荐
- 台大林轩田《机器学习基石》学习笔记:线性模型三(Multiclass Prediction)
- 台大林轩田《机器学习基石》学习笔记5:线性模型一(PLA/pocket、Linearregression )
- 台大林轩田《机器学习基石》学习笔记6:线性模型二(Logistics regression)
- 台大林轩田《机器学习基石》学习笔记:线性模型一(PLA/pocket、Linearregression )
- 台大林轩田《机器学习基石》学习笔记:线性模型二(Logistics regression)
- 台大林轩田《机器学习基石》学习笔记:先导概念与抽象模型
- scikit-learn(工程中用的相对较多的模型介绍):1.12. Multiclass and multilabel algorithms
- CheeseZH: Stanford University: Machine Learning Ex3: Multiclass Logistic Regression and Neural Network Prediction
- 线性判别分析(LDA)模型
- Stanford ex3: Multi-class Classification and Neural Networks
- 台大林轩田《机器学习基石》学习笔记:重要工具一(Feature transform)
- 线性模型——线性回归模型
- Class Model(类模型)
- Holt 线性趋势模型,指数趋势模型和阻尼形式
- 机器学习(5)多项式回归:用基函数扩展线性模型
- 小白学习机器学习---第三章:简单线性模型Python实现
- 广义线性模型3
- 线性模型(3):Logistic Regression
- H.266帧内色度预测模式:跨组件的线性模型(CCLM)预测
- 【Scikit-Learn 中文文档】广义线性模型 - 监督学习 - 用户指南 | ApacheCN