周志华 《机器学习》之 第三章(线性模型)概念总结
2016-08-12 14:58
513 查看
阅读之后,根据周志华老师对本章节的安排,首先从线性模型的基本形式入手,逐渐引入线性回归、对数几率回归、线性判别分析(LDA)、多分类学习等多种线性模型,最后针对类别不平衡问题总结了一些相关的解决思路
1)线性模型的基本形式
一般用向量形式写成 f(x)=wTx+b
线性模型形式简单、易于建模,却蕴涵着机器学习中的一些重要的基本思想。许多功能更为强大的线性模型(nonlinear model)可以在线性模型的基础上通过引入层级结构或者高维映射而得。
2)几种经典的线性模型(线性回归、对数几率回归、线性判别分析、多分类学习)
针对线性回归可以参阅如下文章:
http://blog.csdn.net/xiazdong/article/details/7950084 线性回归及梯度下降
http://blog.csdn.net/jzlxiaohei/article/details/8973410机器学习之线性回归
针对对数几率回归(逻辑回归)可参阅如下文章:
http://www.cnblogs.com/hustlx/p/5391772.html机器学习总结之逻辑回归Logistic Regression
线性判别分析 LDA
若将W视为一个投影矩阵,则多分类LDA将样本投影到N-1维空间,N-1通常远小于数据原有的属性数,于是,可通过这个投影来减小样本点的维数,且投影过程中使用了类别信息,因此LDA也常常被视为一种经典的监督降维技术。
http://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html 机器学习中的数学(4)-线性判别分析(LDA), 主成分分析(PCA)
http://blog.csdn.net/wzmsltw/article/details/51037725 logistics回归 与 线性判别分析(LDA)
多分类学习
现实中常遇到多分类学习任务,有些二分类学习方法可以直接推广到多分类,但在更多情形下,我们是基于一些基本策略,利用二分类学习器来解决多分类问题。
最经典的拆分策略:“一对一 OvO” “一对多 OvR” “多对多 MvM”
ECOC(纠错输出码) 是一种最常用的MvM技术。它是将编码的思想引入类别拆分,并尽可能在解码过程中具有容错性。
3)类别不平衡问题 就是指分类任务中不同类别的训练样例数目差别很大的情况
1)线性模型的基本形式
一般用向量形式写成 f(x)=wTx+b
线性模型形式简单、易于建模,却蕴涵着机器学习中的一些重要的基本思想。许多功能更为强大的线性模型(nonlinear model)可以在线性模型的基础上通过引入层级结构或者高维映射而得。
2)几种经典的线性模型(线性回归、对数几率回归、线性判别分析、多分类学习)
针对线性回归可以参阅如下文章:
http://blog.csdn.net/xiazdong/article/details/7950084 线性回归及梯度下降
http://blog.csdn.net/jzlxiaohei/article/details/8973410机器学习之线性回归
针对对数几率回归(逻辑回归)可参阅如下文章:
http://www.cnblogs.com/hustlx/p/5391772.html机器学习总结之逻辑回归Logistic Regression
线性判别分析 LDA
若将W视为一个投影矩阵,则多分类LDA将样本投影到N-1维空间,N-1通常远小于数据原有的属性数,于是,可通过这个投影来减小样本点的维数,且投影过程中使用了类别信息,因此LDA也常常被视为一种经典的监督降维技术。
http://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html 机器学习中的数学(4)-线性判别分析(LDA), 主成分分析(PCA)
http://blog.csdn.net/wzmsltw/article/details/51037725 logistics回归 与 线性判别分析(LDA)
多分类学习
现实中常遇到多分类学习任务,有些二分类学习方法可以直接推广到多分类,但在更多情形下,我们是基于一些基本策略,利用二分类学习器来解决多分类问题。
最经典的拆分策略:“一对一 OvO” “一对多 OvR” “多对多 MvM”
ECOC(纠错输出码) 是一种最常用的MvM技术。它是将编码的思想引入类别拆分,并尽可能在解码过程中具有容错性。
3)类别不平衡问题 就是指分类任务中不同类别的训练样例数目差别很大的情况
相关文章推荐
- 机器学习(周志华)_第三章线性模型
- 周志华 《机器学习》之 第二章(模型评估与选择)概念总结
- 第三章 线性模型--机器学习(周志华)参考答案
- 机器学习(周志华) 参考答案 第三章 线性模型 3.4
- 周志华 《机器学习》之 第四章(决策树)概念总结
- 周志华 《机器学习》之 第九章(聚类)概念总结
- 周志华机器学习读后总结 第三章
- 小白学习机器学习---第三章:简单线性模型Python实现
- 周志华 《机器学习》之 第五章(神经网络)概念总结
- 周志华《机器学习》第 3 章 线性模型
- 周志华《机器学习》笔记:第3章 线性模型
- 机器学习.周志华《3 线性模型》
- 周志华 《机器学习》之 第七章(贝叶斯分类器)概念总结
- 周志华《机器学习》课后习题解答系列(四):Ch3 - 线性模型
- 周志华 《机器学习》之 第十一章(特征选择与稀疏学习)概念总结
- 《机器学习》随心记-周志华版线性模型
- 周志华 《机器学习》之 第八章(集成学习)概念总结
- 周志华 《机器学习》之 第十三章(半监督学习)概念总结
- 周志华 《机器学习》之 第14、15、16章 概念总结
- 小白学习机器学习---第三章:线性模型(2):对数几率回归