转载(与部分翻译)!理解LSTM
2017-11-07 11:23
337 查看
http://colah.github.io/posts/2015-08-Understanding-LSTMs/
保存给自己看的
先来一张总体图
下图显示了forget gate(深色部分), 输入上一个time step来的h和这一个time step的x,这两者进行sigmoid运算,得到一个0到1之间的数,从图中可以看出,这个数控制着从上一个time step来的C,如果是0就代表上一个C完全不要,是1的话代表上一个C完全保留。0到1之间就是按一定的比例来保留或遗忘。这就是forget gate。
下图显示了input gate的作用,这里决定的是我们要在cell state中加入一些什么(上一步是遗忘什么),具体见公式。
下图中是forget gate和input gate的后续步骤,就是遗忘一点原来的,再加上部分现在的。
到这里为止,我们就做出了之前RNN中没有的,对原来状态的修改,然而使用rnn是为了对输入进行输出,因此接下来就是用修改过的状态来计算输出。
具体计算如下图公式。
保存给自己看的
先来一张总体图
下图显示了forget gate(深色部分), 输入上一个time step来的h和这一个time step的x,这两者进行sigmoid运算,得到一个0到1之间的数,从图中可以看出,这个数控制着从上一个time step来的C,如果是0就代表上一个C完全不要,是1的话代表上一个C完全保留。0到1之间就是按一定的比例来保留或遗忘。这就是forget gate。
下图显示了input gate的作用,这里决定的是我们要在cell state中加入一些什么(上一步是遗忘什么),具体见公式。
下图中是forget gate和input gate的后续步骤,就是遗忘一点原来的,再加上部分现在的。
到这里为止,我们就做出了之前RNN中没有的,对原来状态的修改,然而使用rnn是为了对输入进行输出,因此接下来就是用修改过的状态来计算输出。
具体计算如下图公式。
相关文章推荐
- 【转载】(翻译)反射的第二部分:Emit
- 【翻译】理解 LSTM 网络
- 理解长短期记忆(Long Short Term Memory, LSTM)模型(colah 原文翻译)
- Traffic-Control-HOWTO翻译与TC部分自己的理解
- 理解 Linux 的处理器负载均值(翻译)(转载)
- 翻译:RealEyes OSMF Player Sample - 第二部分:建立和配置 (转载)
- 做项目被log4j的输出格式化参数搞烦了,索性把API的相关部分大致翻译一下,原文参见 ----转载
- Learning a Deep Compact Image Representation for Visual Tracking的部分翻译和个人理解
- 理解LSTM网络—翻译Understanding LSTM Networks
- 入门级:理解FAT32文件系统(转载翻译)
- [翻译]内存 - 第二部分:理解进程内存
- RNN(1) ------ “理解LSTM”(转载)
- 递归神经网络之理解长短期记忆网络(LSTM NetWorks)(转载)
- Borg论文翻译 以及部分理解
- What's New in ArcGIS 9.3(第I部分)【简单翻译理解】
- 【转载】理解LSTM网络
- 翻译:理解COM套间(第二部分)
- (翻译)反射的第二部分:Emit (转载)
- Espresso学习笔记--google doc前四篇部分翻译和理解
- 理解LSTM网络(翻译)