监督学习的基本思想及最基本算法——梯度下降
2017-05-14 20:10
253 查看
监督学习:
训练集是一组有输入,且知道正确输出的数据。
训练的过程即通过这组数据,构建一个函数,使在同样的输入下,这个函数的输出与真实的输出之间的差距尽量小。
这个函数即为预测函数,是我们最终用机器学习到的“知识”。
而评价这个函数的输出与真实的输出之间的差距的准绳我们称之为LOSS,它也是一个函数,针对不同的问题,有各种不同的确定方法。
梯度下降方法:
如图所示,即从一个起始点,寻找可以使这组数据的LOSS函数值之和下降最快的方向,并迈出一小步(学习速度α),不断迭代,最终达到一个区域内的最小值。
举例:
若以这组训练集通过目前的函数所得的结果与真实结果的差的平方之和的二分之一作为LOSS函数(最小二乘数?):
可对这个函数中每个θ(待定系数)求偏导数,最后所得的偏导数的集合即为在这个多维空间中LOSS下降方向的向量。
再用θ向量减去这个向量乘以学习速度α,即
得到新的θ,如此往复,即可得到使这组训练集的误差的和最小的θ,从而得到要学习的函数。
随机梯度下降方法:
梯度下降方法不好的地方在于,每次的迭代都需要遍历整个训练集,如果数据量很大,这个方法就难以实现。
随机梯度下降方法,改变的地方在于:数据有次序地进行训练,每次训练只针对当前的数据(输入以及正确的输出),来对θ进行修正(即不同的数据对于同样的θ来说,步进的方向是不同的)。
这样的话,迭代的次数即为训练集的数据量。得到结果的路程也许的曲折的,但是最终还是能够逼近一个区域内的使LOSS最小的θ值。
训练集是一组有输入,且知道正确输出的数据。
训练的过程即通过这组数据,构建一个函数,使在同样的输入下,这个函数的输出与真实的输出之间的差距尽量小。
这个函数即为预测函数,是我们最终用机器学习到的“知识”。
而评价这个函数的输出与真实的输出之间的差距的准绳我们称之为LOSS,它也是一个函数,针对不同的问题,有各种不同的确定方法。
梯度下降方法:
如图所示,即从一个起始点,寻找可以使这组数据的LOSS函数值之和下降最快的方向,并迈出一小步(学习速度α),不断迭代,最终达到一个区域内的最小值。
举例:
若以这组训练集通过目前的函数所得的结果与真实结果的差的平方之和的二分之一作为LOSS函数(最小二乘数?):
可对这个函数中每个θ(待定系数)求偏导数,最后所得的偏导数的集合即为在这个多维空间中LOSS下降方向的向量。
再用θ向量减去这个向量乘以学习速度α,即
得到新的θ,如此往复,即可得到使这组训练集的误差的和最小的θ,从而得到要学习的函数。
随机梯度下降方法:
梯度下降方法不好的地方在于,每次的迭代都需要遍历整个训练集,如果数据量很大,这个方法就难以实现。
随机梯度下降方法,改变的地方在于:数据有次序地进行训练,每次训练只针对当前的数据(输入以及正确的输出),来对θ进行修正(即不同的数据对于同样的θ来说,步进的方向是不同的)。
这样的话,迭代的次数即为训练集的数据量。得到结果的路程也许的曲折的,但是最终还是能够逼近一个区域内的使LOSS最小的θ值。
相关文章推荐
- 深度学习进阶(二)--神经网络结构算法以及梯度下降法
- 斯坦福大学公开课机器学习课程(Andrew Ng)二监督学习应用 梯度下降
- 机器学习深度学习基础笔记(2)——梯度下降之手写数字识别算法实现
- 从梯度下降到拟牛顿法:详解训练神经网络的五大学习算法
- [机器学习]监督学习应用.梯度下降
- Andrew Ng 机器学习 第一课 监督学习应用.梯度下降 笔记
- Ng深度学习笔记 1-线性回归、监督学习、成本函数、梯度下降
- Andrew Ng机器学习公开课02:监督学习应用:梯度下降
- 监督学习应用与梯度下降
- 监督学习应用.梯度下降笔记
- 【机器学习-斯坦福】学习笔记2 - 监督学习应用与梯度下降
- Stanford大学机器学习公开课(二):监督学习应用与梯度下降
- 监督学习应用与梯度下降
- [笔记]监督学习·梯度下降
- 【机器学习-斯坦福】学习笔记2 - 监督学习应用与梯度下降
- 监督学习应用.梯度下降.
- 监督学习应用-梯度下降
- 机器学习--监督学习应用(梯度下降)
- Machine Learning - Andrew NG Class02 - 监督学习应用.梯度下降
- 斯坦福大学公开课 :机器学习课程笔记-[第2集] 监督学习应用.梯度下降