吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Backpropagation through time
2018-03-04 14:00
591 查看
这一节主要讲了RNN的反向传播过程
BP即从输出到输入，因此和FP是相反的一些箭头
计算a的参数Wa和ba,计算y的参数Wy和by，绿色的箭头表示在这些不同的a和y的计算中都要用到这些参数（这里展示的是一层RNN，后面会讲到多层，在这一层中，不同的cell参数共享）。
这里的箭头表示的前向传播的计算过程，loss函数用的分类中常用的cross entropy，对于每个输出y计算loss，总的loss是这些不同y的loss之和
反向红色箭头表示的就是BP过程
BP即从输出到输入，因此和FP是相反的一些箭头
计算a的参数Wa和ba,计算y的参数Wy和by，绿色的箭头表示在这些不同的a和y的计算中都要用到这些参数（这里展示的是一层RNN，后面会讲到多层，在这一层中，不同的cell参数共享）。
这里的箭头表示的前向传播的计算过程，loss函数用的分类中常用的cross entropy，对于每个输出y计算loss，总的loss是这些不同y的loss之和
反向红色箭头表示的就是BP过程
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Deep RNNs
- 吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Why sequence Models
- 吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Notation
- 吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Sampling novel sequence
- 吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Long Short Term Memory(LSTM)
- Coursera 吴恩达DeepLearning.AI 第五课 sequence model 序列模型 第一周 随堂测验
- 吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Recurrent Neural Network Model
- Coursera 吴恩达DeepLearning.AI 第五课 sequence model 序列模型 第一周 Improvise a Jazz Solo with an LSTM Network
- 吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Different types of RNNs
- Coursera 吴恩达DeepLearning.AI 第五课 sequence model 序列模型 第一周 Dinosaur Island - Character-Level Language
- 循环神经网络教程3-BP算法和梯度消失问题, Part 3 – Backpropagation Through Time and Vanishing Gradients
- 吴恩达deeplearning.ai课程《神经网络和深度学习》____学习笔记（第一周）
- BPTT(BackPropagation Through Time)
- Coursera 吴恩达DeepLearning.AI 第五课 sequence model 序列模型 第二周 Emofify
- Coursera 吴恩达DeepLearning.AI 第五课 sequence model 序列模型 第二周 Operations on word vectors - v2
- 基于时间的反向传播算法BPTT（Backpropagation through time）
- BackPropagation Through Time
- 吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Gated Recurrent Unit(GRU)
- 吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Gated Recurrent Unit(GRU)
- 【吴恩达deeplearning.ai】深度学习(2)：神经网络