Linear regression and gradient descent algorithm
2016-05-03 20:11
429 查看
线性回归与梯度下降算法
作者:上品物语
原文:http://www.cnblogs.com/eczhou/p/3951861.html,原文存在部分错误,修改。
知识点:
线性回归概念
梯度下降算法
l
批量梯度下降算法
l
随机梯度下降算法
l
算法收敛判断方法
回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。
下面我们来举例何为一元线性回归分析,图1为某地区的房屋面积(feet)与价格($)的一个数据集,在该数据集中,只有一个自变量面积(feet),和一个因变量价格($),所以我们可以将数据集呈现在二维空间上,如图2所示。利用该数据集,我们的目的是训练一个线性方程,无限/尽可能的逼近所有数据点,然后利用该方程与给定的某一自变量(本例中为面积),可以预测因变量(本例中为房价)。本例中,训练所得的线性方程如图3所示。
![](https://oscdn.geek-share.com/Uploads/Images/Content/201605/03/7640151c46ac802c7ede858470da78fe.jpg)
图1、房价与面积对应数据集
![](https://oscdn.geek-share.com/Uploads/Images/Content/201605/03/fe8974db0fe3cd30e781a231dfbf9a59.jpg)
图2、二维空间上的房价与面积对应图
![](https://oscdn.geek-share.com/Uploads/Images/Content/201605/03/71f47eebc9cb6aa0d488ff449ebcd05e.jpg)
线性逼近同时,分析得到的线性方程为:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201605/03/3a10411c03ee94b6f72eca7d27e78f8b.jpg)
接下来还是该案例,举一个多元线性回归的例子。如果增添了一个自变量:房间数,那么数据集可以如下所示:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201605/03/7e35c3c72a947d16d81da4cc4164d495.jpg)
图4、房价与面积、房间数对应数据集
那么,分析得到的线性方程应如下所示:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201605/03/f5eb8daf0fa6e850140ef3a2f296713a.jpg)
因此,无论是一元线性方程还是多元线性方程,可统一写成如下的格式:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201605/03/7d6b4dae5ec6afa16137cc1442bc83bb.jpg)
上式中x0=1,而求线性方程则演变成了求方程的参数ΘT。
线性回归假设特征和结果满足线性关系。其实线性关系的表达能力非常强大,每个特征对结果的影响强弱可以有前面的参数体现,而且每个特征变量可以首先映射到一个函数,然后再参与线性计算,这样就可以表达特征与结果之间的非线性关系。
![](https://oscdn.geek-share.com/Uploads/Images/Content/201605/03/c0833d4bd1982d468fdf9a6d1f1cca9a)
如何调整ΘT以使得J(Θ)取得最小值有很多方法,其中有完全用数学描述的最小二乘法(min square)、正规化方程法和梯度下降法。
1.2.1 批量梯度下降算法
由之前所述,求ΘT的问题演变成了求J(Θ)的极小值问题,这里使用梯度下降法。而梯度下降法中的梯度方向由J(Θ)对Θ的偏导数确定。
![](https://oscdn.geek-share.com/Uploads/Images/Content/201605/03/3d6048885c5b2f7b6863d15ce6dd50a5.jpg)
公式(5)中α为学习速率(Learning rate),当α过大时,可能也会缓慢收敛,但更多情况下是导致J(Θ)逐渐增大而发散;而α当过小时,容易造成迭代次数较多,收敛速度较慢。带入求解得到:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201605/03/388c43808375ba960f36c5b11acf5865)
初始时ΘT可设为
![](https://oscdn.geek-share.com/Uploads/Images/Content/201605/03/0dddf738c4c51fceaad00c131a085c09.jpg)
,然后迭代使用上述公式计算ΘT中的每个参数,(注意是同步更新simultaneously update for everyΘj)直至收敛为止。由于每次迭代计算ΘT时,都使用了整个样本集(求和中使用到了),因此我们称该梯度下降算法为批量梯度下降算法(batch
gradient descent)。
![](https://oscdn.geek-share.com/Uploads/Images/Content/201605/03/a0f276384ee7d32b40d91f8cb1c451a9)
![](https://oscdn.geek-share.com/Uploads/Images/Content/201801/0d4a2b681c603dbe5bb149e8395ca7a3.jpg)
即每读取一条样本,就迭代对ΘT进行更新,然后判断其是否收敛,若没收敛,则继续读取样本进行处理,如果所有样本都读取完毕了,则循环重新从头开始读取样本进行处理。
这样迭代一次的算法复杂度为O(n)。对于大数据集,很有可能只需读取一小部分数据,函数J(Θ)就收敛了。比如样本集数据量为100万,有可能读取几千条或几万条时,函数就达到了收敛值。所以当数据量很大时,更倾向于选择随机梯度下降算法。
但是,相较于批量梯度下降算法而言,随机梯度下降算法使得J(Θ)趋近于最小值的速度更快,但是有可能造成永远不可能收敛于最小值,有可能一直会在最小值周围震荡,但是实践中,大部分值都能够接近于最小值,效果也都还不错。
1.2.3 算法收敛判断方法
参数ΘT的变化距离为0,或者说变化距离小于某一阈值(ΘT中每个参数的变化绝对值都小于一个阈值)。为减少计算复杂度,该方法更为推荐使用。
J(Θ)不再变化,或者说变化程度小于某一阈值。计算复杂度较高,但是如果为了精确程度,那么该方法更为推荐使用。
作者:上品物语
原文:http://www.cnblogs.com/eczhou/p/3951861.html,原文存在部分错误,修改。
知识点:
线性回归概念
梯度下降算法
l
批量梯度下降算法
l
随机梯度下降算法
l
算法收敛判断方法
1.1 线性回归
在统计学中,线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。
下面我们来举例何为一元线性回归分析,图1为某地区的房屋面积(feet)与价格($)的一个数据集,在该数据集中,只有一个自变量面积(feet),和一个因变量价格($),所以我们可以将数据集呈现在二维空间上,如图2所示。利用该数据集,我们的目的是训练一个线性方程,无限/尽可能的逼近所有数据点,然后利用该方程与给定的某一自变量(本例中为面积),可以预测因变量(本例中为房价)。本例中,训练所得的线性方程如图3所示。
![](https://oscdn.geek-share.com/Uploads/Images/Content/201605/03/7640151c46ac802c7ede858470da78fe.jpg)
图1、房价与面积对应数据集
![](https://oscdn.geek-share.com/Uploads/Images/Content/201605/03/fe8974db0fe3cd30e781a231dfbf9a59.jpg)
图2、二维空间上的房价与面积对应图
![](https://oscdn.geek-share.com/Uploads/Images/Content/201605/03/71f47eebc9cb6aa0d488ff449ebcd05e.jpg)
线性逼近同时,分析得到的线性方程为:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201605/03/3a10411c03ee94b6f72eca7d27e78f8b.jpg)
接下来还是该案例,举一个多元线性回归的例子。如果增添了一个自变量:房间数,那么数据集可以如下所示:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201605/03/7e35c3c72a947d16d81da4cc4164d495.jpg)
图4、房价与面积、房间数对应数据集
那么,分析得到的线性方程应如下所示:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201605/03/f5eb8daf0fa6e850140ef3a2f296713a.jpg)
因此,无论是一元线性方程还是多元线性方程,可统一写成如下的格式:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201605/03/7d6b4dae5ec6afa16137cc1442bc83bb.jpg)
上式中x0=1,而求线性方程则演变成了求方程的参数ΘT。
线性回归假设特征和结果满足线性关系。其实线性关系的表达能力非常强大,每个特征对结果的影响强弱可以有前面的参数体现,而且每个特征变量可以首先映射到一个函数,然后再参与线性计算,这样就可以表达特征与结果之间的非线性关系。
1.2 梯度下降算法
为了得到目标线性方程,我们只需确定公式(3)中的ΘT,同时为了确定所选定的的ΘT效果好坏,通常情况下,我们使用一个损失函数(loss function/cost function)来评估h(x)函数的好坏。该cost function如公式(4)所示。如何调整ΘT以使得J(Θ)取得最小值有很多方法,其中有完全用数学描述的最小二乘法(min square)、正规化方程法和梯度下降法。
1.2.1 批量梯度下降算法
由之前所述,求ΘT的问题演变成了求J(Θ)的极小值问题,这里使用梯度下降法。而梯度下降法中的梯度方向由J(Θ)对Θ的偏导数确定。
![](https://oscdn.geek-share.com/Uploads/Images/Content/201605/03/3d6048885c5b2f7b6863d15ce6dd50a5.jpg)
公式(5)中α为学习速率(Learning rate),当α过大时,可能也会缓慢收敛,但更多情况下是导致J(Θ)逐渐增大而发散;而α当过小时,容易造成迭代次数较多,收敛速度较慢。带入求解得到:
初始时ΘT可设为
![](https://oscdn.geek-share.com/Uploads/Images/Content/201605/03/0dddf738c4c51fceaad00c131a085c09.jpg)
,然后迭代使用上述公式计算ΘT中的每个参数,(注意是同步更新simultaneously update for everyΘj)直至收敛为止。由于每次迭代计算ΘT时,都使用了整个样本集(求和中使用到了),因此我们称该梯度下降算法为批量梯度下降算法(batch
gradient descent)。
1.2.2 随机梯度下降算法
当样本集数据量m很大时,批量梯度下降算法每迭代一次的复杂度为O(mn),复杂度很高。因此,为了减少复杂度,当m很大时,我们更多时候使用随机梯度下降算法(stochastic gradient descent),算法如下所示:![](https://oscdn.geek-share.com/Uploads/Images/Content/201801/0d4a2b681c603dbe5bb149e8395ca7a3.jpg)
即每读取一条样本,就迭代对ΘT进行更新,然后判断其是否收敛,若没收敛,则继续读取样本进行处理,如果所有样本都读取完毕了,则循环重新从头开始读取样本进行处理。
这样迭代一次的算法复杂度为O(n)。对于大数据集,很有可能只需读取一小部分数据,函数J(Θ)就收敛了。比如样本集数据量为100万,有可能读取几千条或几万条时,函数就达到了收敛值。所以当数据量很大时,更倾向于选择随机梯度下降算法。
但是,相较于批量梯度下降算法而言,随机梯度下降算法使得J(Θ)趋近于最小值的速度更快,但是有可能造成永远不可能收敛于最小值,有可能一直会在最小值周围震荡,但是实践中,大部分值都能够接近于最小值,效果也都还不错。
1.2.3 算法收敛判断方法
参数ΘT的变化距离为0,或者说变化距离小于某一阈值(ΘT中每个参数的变化绝对值都小于一个阈值)。为减少计算复杂度,该方法更为推荐使用。
J(Θ)不再变化,或者说变化程度小于某一阈值。计算复杂度较高,但是如果为了精确程度,那么该方法更为推荐使用。
相关文章推荐
- django--Model
- 解析Mac OS下部署Pyhton的Django框架项目的过程
- Django报错:No translation files found for
- django_模板
- django_url视图
- 在ROS(indigo)中读取手机GPS用于机器人定位~GPS2BT在ubuntu和window系统下的使用方法~
- 在ROS(indigo)中读取手机GPS用于机器人定位~GPS2BT在ubuntu和window系统下的使用方法~
- 在ROS(indigo)中读取手机GPS用于机器人定位~GPS2BT在ubuntu和window系统下的使用方法~
- 《google软件测试之道》中文版 and 英文版
- django基础
- django应用的部署
- Windows下使用Visual Studio Code搭建Go语言环境
- google chrome webdrive 列表
- Google调试工具
- 激活Django自动管理
- 欧几里得算法 Euclidean algorithm
- Django: 路由与视图
- About cpu freq governor fixing for periodic
- 解析Mac OS下部署Pyhton的Django框架项目的过程
- Google 将要组建统一的硬件部门,你也许能见到一台更好的 Nexus 手机了