干货——LSTM详解，关于LSTM的前生今世

 最近在做lip reading领域的研究，设计到C3D和RNN的结合，于是仔细观摩了下LSTM的系列论文，总结如下：

PPT总长98页，内容包括：

1.conventional LSTM（含BPTT算法的详细讲解）

2.forget gate的提出

3.Peephole mechanism

4.Encoder-Decoder

5.GRU

6.用于处理long-term和short-term信息的Gated feedback RNN

7.现在广泛使用的attention mechanism，包括原始版本和修改版本

 及其相应的参考文献，看完，你一定会受益匪浅^_^。

2017-12-18更新：添加了关于《attention is all you need》（2017 ，NIPS）的理解

链接: https://pan.baidu.com/s/1bXH2lK 密码: kpik

仅供学习交流使用，希望对大家有所帮助。