TensotFlow 应用实例:07-优化器 Optimizer 介绍
2017-07-30 20:32
459 查看
TensotFlow 应用实例:07-优化器 Optimizer 介绍
本文是我在学习TensotFlow 的时候所记录的笔记,共享出来希望能够帮助一些需要的人。本文其实主要是在介绍什么是优化器以及常用的优化器,由于时间有限,文本就不在处理,直接贴在代码段当中,希望理解。
import tensorflow as tf # optimizer # 优化器 Optimizer 加速神经网络训练 (深度学习) Speed up neural network training process (deep learning) # SGD Stochastic Gradient Descent # Stochastic adj. [数] 随机的;猜测的 # 随机梯度下降 # Momentum, 惯性原则:在走的路上动手脚,将平地换成一个下坡,就可以避免走很多弯路 # m = b1 * m - Learning rate * dx # W += m # AdaGrad, 错误方向的阻力:这种方式是在学习率上动动手脚,给他一双特殊的鞋子,使得他在走弯路的时候会不舒服 # 这样他就会走你想让他走的路了 # v += dx^2 # W += -Learning rate * dx / √V (v的开方) # RMSProp # 结合以上两种方式, 但是并没有把Momentum完全合并,还缺少了Momentum的 【- Learning rate * dx】 # v = b1 * v + (1 - b1) * dx^2 # W += -Learning rate * dx / √V (v的开方) # Adam 是补上RMSProp中缺少的Momentum的 【- Learning rate * dx】 # m = b1 * m - Learning rate * dx ---> Momentum # W += -Learning rate * dx / √V (v的开方) ---> AdaGrad # 实验表明,大多数时候使用Adam都能又快又好的达到目标 # AlphaGo 使用的是 RMSPropOptimizer # 机器学习也就是从一个cost比较大的地方走到一个cost最小的地方 # 初学者的使用GradientDescent基本上级就可以了
本文代码GitHub地址 tensorflow_learning_notes
4000
相关文章推荐
- 端到端J2ME应用开发实例——介绍Smart Ticket
- ACE中的Proactor介绍和应用实例
- [Python]网络爬虫(四):Opener与Handler的介绍和实例应用
- CGroup 介绍、应用实例及原理描述(已发表于IBM开发者论坛)
- Java自带的线程池ThreadPoolExecutor详细介绍说明和实例应用
- (转)Java 代码优化过程的实例介绍
- 程序员转型AI,这里有最全的机器学习介绍+应用实例
- CGroup 介绍、应用实例及原理描述
- ACE中的Proactor介绍和应用实例
- ACE中的Proactor介绍和应用实例
- ACE中的Proactor介绍和应用实例
- CGroup 介绍、应用实例及原理描述
- Java 代码优化过程的实例介绍
- Java自带的线程池ThreadPoolExecutor详细介绍说明和实例应用
- redis应用实例学习介绍
- Java自带的线程池ThreadPoolExecutor详细介绍说明和实例应用
- app.config自定义应用程序配置文件介绍与应用实例
- iOS Mask属性的详细介绍及应用实例
- 引用 Java自带的线程池ThreadPoolExecutor详细介绍说明和实例应用
- 【建模必备】遗传算法应用举例(简单的一元函数优化实例)