快速梯度下降法-SAGA
2017-09-01 12:23
218 查看
SGD
对于目标函数:目标函数优化步骤:
1.随机旋转索引j,即函数fj(x);
2.更新参数x,采用sgd公式为:
SAGA(STOCHASTIC VARIANCE REDUCTION METHODS)
目标函数优化步骤:1.随机旋转索引j,即函数fj(x);
2.对于上述目标函数,采用SAGA参数更新公式为:
ϕk+1j=xk.
SAGA代码:https://github.com/adefazio/point-saga
相比SGD,SAGA有完全不同的收敛性.对于强凸的问题,SAGA可以线性收敛,即计算量为O(log(1/k)),而在现有的随机方法中,例如SGD需要计算量为O(1/k),都未达到线性收敛.
图中Incremetal Gradient为SAGA方法.由图可知,在训练过程中,采用SAGA梯度下降法可以使模型快速收敛.
相关文章推荐
- 梯度下降法快速教程 | 第二章:冲量(momentum)的原理与Python实现
- Tensorflow &&python实战--用梯度下降的优化方法来快速解决线性回归问题
- 梯度下降法快速教程 | 第一章:Python简易实现以及对学习率的探讨
- 梯度下降法快速教程 | 第三章:学习率衰减因子(decay)的原理与Python实现
- Octave实现线性回归(梯度下降)
- 随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent )
- 线性回归与梯度下降法
- 用Excel理解梯度下降:简单到拍案叫绝
- [机器学习]监督学习应用.梯度下降
- 单变量线性回归中的梯度下降法求解代价函数的最小值
- 随机梯度下降与梯度下降讲解
- 转:梯度下降法(上升法)的几何解释
- 机器学习十大算法--回归算法(批量梯度下降)
- 梯度下降与反向传播详解
- 梯度下降优化算法综述
- 线性回归与梯度下降法
- 深度学习(三十七)优化求解系列之(1)简单理解梯度下降
- 梯度下降深入浅出
- 梯度下降VS随机梯度下降
- 梯度下降法——批量和随机