《机器学习》随心记-周志华版线性模型
2018-03-22 15:15
375 查看
这学期,将学习周志华老师的《机器学习》这本书,一周两章,每章我都会做上一点笔记,笔记或多或少,或工整或潦草,一切根据我当时的时间和心情而定,简单的定义或者易理解的知识我可能附上定义甚至不写,不懂的地方会特别强调指出。所以这个学习系列我称为《机器学习》随心记。
整个随心记的每章由两部分组成,一个是我阅读时产生的问题,我会在解决后在博客的评论或者再编辑解答相应问题;另一个就是基础知识定义以及我对个别定义公式的理解。如果有错误,欢迎指正!如果有需要交流的同志,可以联系Q122643224~附上CSDN学习交流。
第一部分:
问题
1. P55为什么当满秩矩阵或正定矩阵时,令其为零的目的?
只有满秩矩阵和正定矩阵才能求矩阵的逆。
第二部分
本章介绍几种经典的线性模型。先从回归任务开始,在讨论二分类问题。我学习的过程中发现太多数学推导我看不懂了,所以暂时忽略推导这一部分。主要学习概念。
P53
1 基本形式
![](https://img-blog.csdn.net/20180327121312520?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzU4MzA1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
P53
2 线性回归
连续型属性很好办,那么离散型属性我们该怎么处理呢?于是,提出了离散型的解决方法:
(1)如果是有序的离散值,将其转化为连续值,如身高的高矮转化为1,0
(2)如果是不存在序关系的,转化为向量,有k个属性就转化为k维向量。
3 最小二乘法
基于均方误差最小化进行模型求解的方法称为最小二乘法
![](https://img-blog.csdn.net/20180327121321147?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzU4MzA1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
求解w,b使均方误差最小化的过程,我们称为线性回归模型的最小二乘参数估计。
最终求得w,b最优解的闭式解:
![](https://img-blog.csdn.net/20180327121327888?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzU4MzA1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
![](https://img-blog.csdn.net/20180327121332866?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzU4MzA1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
P55
4 多元线性回归
多元线性回归模型为:
![](https://img-blog.csdn.net/20180327121338526?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzU4MzA1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
其中,
![](https://img-blog.csdn.net/20180327121341496?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzU4MzA1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
![](https://img-blog.csdn.net/20180327121344230?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzU4MzA1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
现实生活中XTX往往不是满秩矩阵,会出现多个解W。当有多个解W都能使均方误差最小化,选择的方法是引入正则化项。
5 对数线性回归
将输出标记的对数作为线性模型逼近的目的,模型为:
![](https://img-blog.csdn.net/20180327121401322?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzU4MzA1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
P57
6 对数几率回归(逻辑斯谛回归)
属于分类学习方法
对数几率函数常用这样一个替代函数:
![](https://img-blog.csdn.net/2018032712141134?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzU4MzA1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
然后得到
![](https://img-blog.csdn.net/201803271214148?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzU4MzA1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
于是若将y视为正例的可能性,1-y视为负例的可能性,那么两者比值为y/1-y。
这样我们就可以达到分类的目的。这种方法有几个优点:
(1)无需假设数据分布,避免假设分布不准确带来的问题。
(2)不仅可以预测出类别,而且可以得到近似概率预测。
P60
7 线性判别分析(LDA)
给定训练集,想办法将样例投影到一条直线上,使同类样例的投影点尽量近,异类样例的投影点尽量远。
![](https://img-blog.csdn.net/2018032712142151?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzU4MzA1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
定义类内散度矩阵
![](https://img-blog.csdn.net/20180327121428183?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzU4MzA1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
以及类间散度矩阵
![](https://img-blog.csdn.net/20180327121431407?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzU4MzA1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
![](https://img-blog.csdn.net/20180327121436145?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzU4MzA1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
其中w为:
![](https://img-blog.csdn.net/20180327121439727?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzU4MzA1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
现给出瑞丽商的公式:
![](https://img-blog.csdn.net/20180327121524337?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzU4MzA1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
,
其中最大值等于矩阵A的最大特征值。
P63
8 多分类学习
主要使用拆解法。
拆分策略为:“一对一”(OVO)“一对其余”(OVR)“多对多”(MVM)
一对一:每次在N个类别里选定两个,两两配对,产生N(N-1)/2个分类任务。如图:
一对其余:每次选一个类作为正例,其余的所有作为反例。注意,最后分类结果只为正和负类。
![](https://img-blog.csdn.net/20180327121450165?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzU4MzA1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
MVM常用技术有:纠错输出码(ECOC)。
主要分为两步:
![](https://img-blog.csdn.net/20180327121458324?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzU4MzA1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
类别划分主要通过编码矩阵。如二元码和三元码。如图
![](https://img-blog.csdn.net/20180327121502477?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzU4MzA1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
P67
9 类别不平衡问题
分类器的规则为:
![](https://img-blog.csdn.net/20180327121506851?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzU4MzA1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
处理类别不平衡问题的主要策略有再缩放:即
![](https://img-blog.csdn.net/20180327121510429?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzU4MzA1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
欠采样:去除一些训练集中的一些反例使正反数目接近过采样:添加一些训练集中的一些正例使正反数目接近(注意:我们假定正例较少,反例较多)[b]阈值移动:在用训练好的分类器进行预测时,将缩放比例嵌入到决策过程中。
整个随心记的每章由两部分组成,一个是我阅读时产生的问题,我会在解决后在博客的评论或者再编辑解答相应问题;另一个就是基础知识定义以及我对个别定义公式的理解。如果有错误,欢迎指正!如果有需要交流的同志,可以联系Q122643224~附上CSDN学习交流。
第一部分:
问题
1. P55为什么当满秩矩阵或正定矩阵时,令其为零的目的?
只有满秩矩阵和正定矩阵才能求矩阵的逆。
第二部分
本章介绍几种经典的线性模型。先从回归任务开始,在讨论二分类问题。我学习的过程中发现太多数学推导我看不懂了,所以暂时忽略推导这一部分。主要学习概念。
P53
1 基本形式
P53
2 线性回归
连续型属性很好办,那么离散型属性我们该怎么处理呢?于是,提出了离散型的解决方法:
(1)如果是有序的离散值,将其转化为连续值,如身高的高矮转化为1,0
(2)如果是不存在序关系的,转化为向量,有k个属性就转化为k维向量。
3 最小二乘法
基于均方误差最小化进行模型求解的方法称为最小二乘法
求解w,b使均方误差最小化的过程,我们称为线性回归模型的最小二乘参数估计。
最终求得w,b最优解的闭式解:
P55
4 多元线性回归
多元线性回归模型为:
其中,
现实生活中XTX往往不是满秩矩阵,会出现多个解W。当有多个解W都能使均方误差最小化,选择的方法是引入正则化项。
5 对数线性回归
将输出标记的对数作为线性模型逼近的目的,模型为:
P57
6 对数几率回归(逻辑斯谛回归)
属于分类学习方法
对数几率函数常用这样一个替代函数:
然后得到
于是若将y视为正例的可能性,1-y视为负例的可能性,那么两者比值为y/1-y。
这样我们就可以达到分类的目的。这种方法有几个优点:
(1)无需假设数据分布,避免假设分布不准确带来的问题。
(2)不仅可以预测出类别,而且可以得到近似概率预测。
P60
7 线性判别分析(LDA)
给定训练集,想办法将样例投影到一条直线上,使同类样例的投影点尽量近,异类样例的投影点尽量远。
定义类内散度矩阵
以及类间散度矩阵
其中w为:
现给出瑞丽商的公式:
,
其中最大值等于矩阵A的最大特征值。
P63
8 多分类学习
主要使用拆解法。
拆分策略为:“一对一”(OVO)“一对其余”(OVR)“多对多”(MVM)
一对一:每次在N个类别里选定两个,两两配对,产生N(N-1)/2个分类任务。如图:
一对其余:每次选一个类作为正例,其余的所有作为反例。注意,最后分类结果只为正和负类。
MVM常用技术有:纠错输出码(ECOC)。
主要分为两步:
类别划分主要通过编码矩阵。如二元码和三元码。如图
P67
9 类别不平衡问题
分类器的规则为:
处理类别不平衡问题的主要策略有再缩放:即
欠采样:去除一些训练集中的一些反例使正反数目接近过采样:添加一些训练集中的一些正例使正反数目接近(注意:我们假定正例较少,反例较多)[b]阈值移动:在用训练好的分类器进行预测时,将缩放比例嵌入到决策过程中。
相关文章推荐
- 周志华 《机器学习》之 第三章(线性模型)概念总结
- 周志华《机器学习》第 3 章 线性模型
- 周志华《机器学习》笔记:第3章 线性模型
- 周志华《机器学习》课后习题解答系列(四):Ch3 - 线性模型
- 机器学习(周志华)读书笔记-(三)线性模型
- 第三章 线性模型--机器学习(周志华)参考答案
- 机器学习.周志华《3 线性模型》
- 机器学习(周志华)_第三章线性模型
- 周志华《机器学习》笔记:第3章 线性模型
- 机器学习笔记3.线性模型----教材周志华西瓜书
- 机器学习(周志华) 参考答案 第三章 线性模型 3.4
- Python机器学习——线性模型
- 机器学习教程 之 线性模型:线性回归、对数几率回归、线性判别分析
- 人工智障学习笔记——机器学习(2)线性模型
- 周志华《Machine Learning》学习笔记(4)--线性模型
- 【深度】机器学习进化史:从线性模型到神经网络
- 加州理工大学公开课:机器学习与数据挖掘_线性模型(第三个教训)
- 机器学习Python实现之线性模型
- 周志华《机器学习》第 2 章 模型评估与选择
- 机器学习笔记2.模型评估于选择----教材周志华西瓜书