UFLDL Tutorial深度学习基础——学习总结:稀疏自编码器(二)反向传播算法(Backpropagation Algorithm)
2018-03-14 16:15
435 查看
反向传播过程参考:http://blog.csdn.net/win_in_action/article/details/52704639
反向传播算法步骤:
1、进行前馈传导计算,利用前向传导公式,得到L2,L3,......知道输出层Lnl的激活值。
2、对输出层(第nl层)计算残差(error term):
3、对于l=nl-1,nl-2,nl-3,...,2的各层,计算:
4、计算最终需要的偏导数值:
单个样例(x,y)的代价函数(cost function)(损失函数(loss unction))(二分之一方差代价函数):
整体代价函数(overall cost function):
(以上公式中第一项为均方差(average sum-of-squares error)项,第二项为规则化项(regularization term)(也叫权重衰减项(weight decay))),目的是减小权重幅度,防止过度拟合。
为权重衰减参数用于控制公式中两项的相对重要性。
代价函数(损失函数)经常被用于分类和回归问题。
代价函数(损失函数)作用是:衡量模型预测的好坏(用来表现预测与实际数据的差距程度)。
我们的目标是针对W和b来求其函数J(W,b)的最小值
梯度下降法迭代更新参数W和b:
其中,
为学习速率(learning rate)。关键步骤是计算偏导数,反向传播算法是计算偏导数的一种有效方法。如何用反向传播算法计算代价函数的偏导数:
(第一行比第二行多出一项的原因是权重衰减作用于W而不是b。)
梯度下降算法(gradient descent)总结:
是一个与矩阵
维度相同的矩阵,
是一个与
维度相同的向量。
1、对于所有l,令
(设置为全零矩阵或全零向量)
2、对于i=1到m,a.使用反向传播算法计算
和
b.计算
c.计算
d.更新权重参数:
重复梯度下降算法的迭代步骤来减小代价函数的值,进而求解我们的神经网络。
反向传播算法步骤:
1、进行前馈传导计算,利用前向传导公式,得到L2,L3,......知道输出层Lnl的激活值。
2、对输出层(第nl层)计算残差(error term):
3、对于l=nl-1,nl-2,nl-3,...,2的各层,计算:
4、计算最终需要的偏导数值:
单个样例(x,y)的代价函数(cost function)(损失函数(loss unction))(二分之一方差代价函数):
整体代价函数(overall cost function):
(以上公式中第一项为均方差(average sum-of-squares error)项,第二项为规则化项(regularization term)(也叫权重衰减项(weight decay))),目的是减小权重幅度,防止过度拟合。
为权重衰减参数用于控制公式中两项的相对重要性。
代价函数(损失函数)经常被用于分类和回归问题。
代价函数(损失函数)作用是:衡量模型预测的好坏(用来表现预测与实际数据的差距程度)。
我们的目标是针对W和b来求其函数J(W,b)的最小值
梯度下降法迭代更新参数W和b:
其中,
为学习速率(learning rate)。关键步骤是计算偏导数,反向传播算法是计算偏导数的一种有效方法。如何用反向传播算法计算代价函数的偏导数:
(第一行比第二行多出一项的原因是权重衰减作用于W而不是b。)
梯度下降算法(gradient descent)总结:
是一个与矩阵
维度相同的矩阵,
是一个与
维度相同的向量。
1、对于所有l,令
(设置为全零矩阵或全零向量)
2、对于i=1到m,a.使用反向传播算法计算
和
b.计算
c.计算
d.更新权重参数:
重复梯度下降算法的迭代步骤来减小代价函数的值,进而求解我们的神经网络。
相关文章推荐
- UFLDL Tutorial深度学习基础——学习总结:稀疏自编码器(一)神经网络(neural networks)
- UFLDL Tutorial深度学习基础——学习总结:稀疏自编码器(三)梯度检验与高级优化
- 深度学习基础(二)Backpropagation Algorithm
- 深度学习入门教程UFLDL学习实验笔记一:稀疏自编码器
- ufldl 深度学习入门 第一发:基于BP网络实现稀疏自编码器
- 深度学习入门教程UFLDL学习实验笔记一:稀疏自编码器
- 深度学习基础(十一)—— 稀疏自编码器(二)
- 深度学习基础(三)(稀疏)自编码器 分类: 深度学习 2015-01-20 15:19 96人阅读 评论(0) 收藏
- 深度学习基础(三)(稀疏)自编码器
- 深度学习基础知识(2)反向传播算法
- 深度学习DeepLearning.ai系列课程学习总结:2. 神经网络基础
- 深度学习笔记:稀疏自编码器(1)——神经元与神经网络
- 深度学习 Deep Learning UFLDL 最新Tutorial 学习笔记 5:Softmax Regression
- 深度学习笔记:稀疏自编码器(4)——稀疏自编码器代码练习
- 深度学习UFLDL教程翻译之自动编码器
- 系统学习深度学习(二) --自编码器,DA算法,SDA,稀疏自编码器
- 深度学习之基础模型-总结
- 深度学习基础2(反向传播算法)
- 深度学习 Deep Learning UFLDL 最新 Tutorial 学习笔记 1:Linear Regression
- 深度学习 Deep LearningUFLDL 最新Tutorial 学习笔记 2:Logistic Regression