Andrew-Coursera-DL课程-笔记part2-2（Optimization algorithms）
2017-10-06 12:46
363 查看
Mini-batch gradient descent
Understanding mini-batch gradient descent
mini-batch大小为1时，即为SGD
数据集小于2000，使用batch。大数据集时，mini-batch大小选择，64,128,256,512等2的指数级。
Exponentially weight averages
加权的移动平均法，选取各时期权重数值为递减指数数列的均值方法。指数平滑法解决了移动平均法需要几个观测值和不考虑t—n前时期数据的缺点，通过某种平均方式，消除历史统计序列中的随机波动，找出其中主要的发展趋势。
指数加权平均: vt=βvt−1+(1−β)θt
bias correction: vt=vt1−βt
窗口:11−β
当beta设置为0.98时比0.9更平滑，受历史平均值影响更大.
当beta设置为0.5时，标识时间窗口变为2.
0.9^10近似于0.35，so，对于指数加权平均，beta=0.9时，只有近10天的数据会产生影响，因为超过10天的数据会产生小于1/3的影响
0.98^50近似于0.36，对于beta=0.98时，近50天的数据都会产生影响.
Understanding exponetially weighted averages
Bias correction in exponentially weighted averages
bias correction: vt=vt1−βt
Gradient descent with momentum
动量法，思想是前面的指数加权平均，梯度作为当前值，动量作为历史值
RMSprop
Adm optimization algorithm
Learning rate decay
The problem of local optimal
Understanding mini-batch gradient descent
mini-batch大小为1时，即为SGD
数据集小于2000，使用batch。大数据集时，mini-batch大小选择，64,128,256,512等2的指数级。
Exponentially weight averages
加权的移动平均法，选取各时期权重数值为递减指数数列的均值方法。指数平滑法解决了移动平均法需要几个观测值和不考虑t—n前时期数据的缺点，通过某种平均方式，消除历史统计序列中的随机波动，找出其中主要的发展趋势。
指数加权平均: vt=βvt−1+(1−β)θt
bias correction: vt=vt1−βt
窗口:11−β
当beta设置为0.98时比0.9更平滑，受历史平均值影响更大.
当beta设置为0.5时，标识时间窗口变为2.
0.9^10近似于0.35，so，对于指数加权平均，beta=0.9时，只有近10天的数据会产生影响，因为超过10天的数据会产生小于1/3的影响
0.98^50近似于0.36，对于beta=0.98时，近50天的数据都会产生影响.
Understanding exponetially weighted averages
Bias correction in exponentially weighted averages
bias correction: vt=vt1−βt
Gradient descent with momentum
动量法，思想是前面的指数加权平均，梯度作为当前值，动量作为历史值
RMSprop
Adm optimization algorithm
Learning rate decay
The problem of local optimal
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Andrew-Coursera-DL课程-笔记part2-1（Practical aspects of Deep Learning）
- Andrew-Coursera-DL课程-笔记part2-3（Hyperparameter tuning,Batch Normalization）
- Andrew-Coursera-DL课程-笔记part1-3（Deep neural networks）
- Andrew-Coursera-DL课程-笔记part1-1（Neural Networks Basics）
- Andrew-Coursera-DL课程-笔记part1-2（Shallow neural networks）
- coursera NLP学习笔记之week1课程介绍&基础的文本处理
- Coursera吴恩达《优化深度神经网络》课程笔记（3）-- 超参数调试、Batch正则化和编程框架
- coursera机器学习课程第五周——课程笔记
- Coursera Machine Learning 课程笔记之第三周：逻辑回归(Logistic Regression)
- Coursera吴恩达《神经网络与深度学习》课程笔记（3）-- 神经网络基础之Python与向量化
- Coursera台大机器学习课程笔记3 – 机器学习的可能性
- 吴恩达Coursera机器学习课程笔记-定义分类
- Coursera台大机器学习课程笔记14 -- Validation
- Coursera上DeepLearning系列课程第一课Neural Network and Deep Learning课程PPT和笔记
- Coursera台大机器学习基础课程学习笔记1 -- 机器学习定义及PLA算法
- Machine Learning(Coursera)课程学习笔记
- 如何学习：学习困难科目的实用思维（Coursera课程笔记，2015.6.16）
- Coursera吴恩达《神经网络与深度学习》课程笔记（2）-- 神经网络基础之逻辑回归
- Coursera 机器学习（by Andrew Ng）课程学习笔记 Week 4——神经网络（一）
- Coursera Big Data系列课程笔记1