机器学习系列之最小二乘法
2016-12-18 19:09
190 查看
最小二乘法
最小二乘法,又称最小平方法,是机器学习中基础的算法之一,它是一种优化算法,通过最小化误差的平方来寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。在机器学习中,还可以使用最小二乘法来进行曲线拟合。上图介绍的上海市长宁区部分房价的信息,从散点图可以发现,房子的大小和房价彼此之间有一些依赖关系,由房子大小可以决定房子的价格,但是这种关系又是不确定的,这时候我们可以利用统计学中的回归模型来寻找这两个变量之间的关系。具体步骤如下:
画散点图,直观判断;
用近似模型来描述它们的关系,如一元线性模型;
建立回归模型;
对模型进行参数估计,最小二乘法是这些参数估计的一种常用的方法,这也是本篇博文讲述的重点;
讨论模型的效果;
为了描述简单,本篇文章将采用一元线性模型(Y=w0+w1X )建立回归模型来介绍最小二乘法。
Yi^=w0+w1Xi(式1−1)
其中,Yi^是根据回归模型求得的值,则Yi和Yi^的差就是该模型的误差。则平方损失函数为:
S=∑i=1n(Yi−Yi^)2=∑i=1n(Yi−w0−w1Xi)2(式1−2)
分别对w0,w1求偏导得:
∂S∂w0=−2∑i=1n(Yi−w0−w1Xi)(式1−3)
∂S∂w1=−2∑i=1n(Yi−w0−w1Xi)(−Xi)(式1−4)
根据我们的数学知识,函数的极值点为偏导数为0的点。即
∂S∂w0=0(式1−5)
∂S∂w1=0(式1−6)
亦即
nw0+∑i=1n(Xi)w1=∑i=1nYi(式1−7)
∑i=1n(Xi)w0+(∑i=1nx2i)w1)=∑i=1n(XiYi)(式1−8)
对式1-7和式1-8求解得:
w0=∑ni=1Yin−w1∑ni=1Xin(式1−9)
w1=[n∑ni=1XiYi−(∑ni=1Xi∑ni=1Yi)n∑ni=1X2i−(∑ni=1Xi)2(式1−10)
此时,把w0,w1带入式1-1,就是我们要求的回归模型。
相关文章推荐
- 正则化最小二乘法——神经网络与机器学习笔记2
- 机器学习最基础算法之最小二乘法(最小平方法)
- 机器学习(2)普通最小二乘法
- 机器学习笔记(二)——多变量最小二乘法
- 机器学习之最小二乘法:背后的假设和原理
- 机器学习小组知识点3:最小二乘法(LSM)
- 机器学习笔记(三)——正则化最小二乘法
- 机器学习(3)之最小二乘法的概率解释与局部加权回归
- 机器学习经典算法之-----最小二乘法(zz)
- python机器学习案例系列教程——优化,寻找使成本函数最小的最优解
- 机器学习总结(四):极大似然估计与最小二乘法
- [机器学习]最小二乘法python代码
- Hulu机器学习问题与解答系列 | 二十:PCA 最小平方误差理论
- 机器学习(3)之最小二乘法的概率解释与局部加权回归
- 机器学习之最小二乘法
- 机器学习之最小二乘法
- 机器学习之最小二乘法
- 机器学习之最小二乘法
- 机器学习中的矩阵方法01:线性系统和最小二乘
- 机器学习系列笔记(二)