LSTM的完整推导过程，附上推导的手写稿

1、LSTM结构分析：



说明：LSTM只是RNN的一种，只是将sigmoid神经元替换成LSTM单元。整体上的结构和前向全连接神经网络类似，也会有输入层结点，输出层结点。上图的结构就是有4个输入层结点，2个single-cell
LSTM memory blocks,5个输出层结点。

2、符号说明：



3、前向过程：





说明：前向传播过程,可以看出，对于输入门,忘记门,输出门的建模方式，其实本质上都是一样的。对<当前时刻的输入,上一时刻隐层的输出,上一时刻的状态>进行线性加权，然后通过激活函数进行非线性变换。跟sigmoid神经元的建模方式，差别在于引入了上一时刻的信息。

4、反向传播过程



说明：下面对以上各式分别进行推导：









LSTM的前向过程,可以对线性的计算模块进行优化：