对优化算法的一些感想
2014-03-19 11:25
127 查看
1:今天早上阅读了on optimization methods for deep learning这篇paper,是andrew NG组的博士的一篇paper,这篇paper介绍了L-BFGS,CG(共轭梯度)和SGD算法。
2:个人感受最深的就是,我对CG没用过,用L-BFGS最多,SGD是最想用的,但是往往找不到好的模型参数。L-BFGS当样本过多的时候运行非常慢,调一次参数太慢了,SGD速度倒是很快,但是往往结果的差异性很大,没法找到那组参数。
3:在文中作者给了很多的experiment,发现L-BFGS和CG的效果是最好的,效果好指的有2个方面:达到一样的精度的时候用的时间最少;用的时间一样的多的时候,精度最高。
并且作者给出了实验中用L-BFGS的话,使用mini-batch,也就是类似SGD的训练方法,这样可以让L-BFGS速度也很快,精度也很高,同时这篇paper也给的有源代码,我好好阅读下再来说下怎么做。
4:最近在准备一组数据,看来还是可以用L-BFGS了,只需要参考一下训练的一些strategy就好了。哈哈。。
2:个人感受最深的就是,我对CG没用过,用L-BFGS最多,SGD是最想用的,但是往往找不到好的模型参数。L-BFGS当样本过多的时候运行非常慢,调一次参数太慢了,SGD速度倒是很快,但是往往结果的差异性很大,没法找到那组参数。
3:在文中作者给了很多的experiment,发现L-BFGS和CG的效果是最好的,效果好指的有2个方面:达到一样的精度的时候用的时间最少;用的时间一样的多的时候,精度最高。
并且作者给出了实验中用L-BFGS的话,使用mini-batch,也就是类似SGD的训练方法,这样可以让L-BFGS速度也很快,精度也很高,同时这篇paper也给的有源代码,我好好阅读下再来说下怎么做。
4:最近在准备一组数据,看来还是可以用L-BFGS了,只需要参考一下训练的一些strategy就好了。哈哈。。
相关文章推荐
- 计算素数算法的一些优化(编程珠玑阅读感想)
- 测试优化求解算法的一些简单绘图函数
- 对JavaScript优化及规范的一些感想
- 关于算法与数据结构的一些感想
- 算法解析之感想---单调队列优化多重背包思路
- 借ACM一道题 关于算法优化的一点感想
- 对JavaScript优化及规范的一些感想
- 关于网络编程中MTU、TCP、UDP优化配置的一些总结
- c++的一些优化技巧
- eclipse 优化配置的一些纪录
- 从一道笔试题谈算法优化(下)
- innodb使用大字段text,blob的一些优化建议
- exp/imp 与 expdp/impdp 对比 及使用中的一些优化事项
- 南非世界杯的一些感想
- 冒泡排序及算法优化
- nginx 的一些优化(突破十万并发)
- 求两个数的平均值算法优化
- 小文件的p2p分布式下载算法优化
- STL算法---生成和变异算法(遍历元素, 对元素做一些事情)
- 七月算法机器学习笔记6 -- 工作流程与模型优化