机器学习---浅谈神经网络
2017-10-17 10:33
253 查看
参考:
http://blog.csdn.net/bitjoy/article/details/50464989
此博客对神经网络基础解释的很好。
其中,BP方向传播过程中,残差计算如下:
为了便于理解,后面我一律用“残差(error term)”这个词来表示误差的偏导数。
输出层→隐藏层:残差 = -(输出值-样本值) * 激活函数的导数
隐藏层→隐藏层:残差 = (右层每个节点的残差加权求和)* 激活函数的导数
如果输出层用Purelin作激活函数,Purelin的导数是1,输出层→隐藏层:残差 = -(输出值-样本值)
如果用Sigmoid(logsig)作激活函数,那么:Sigmoid导数 = Sigmoid*(1-Sigmoid)
输出层→隐藏层:残差 = -(Sigmoid输出值-样本值) * Sigmoid*(1-Sigmoid) = -(输出值-样本值)输出值(1-输出值)
隐藏层→隐藏层:残差 = (右层每个节点的残差加权求和)* 当前节点的Sigmoid*(1-当前节点的Sigmoid)
http://blog.csdn.net/bitjoy/article/details/50464989
此博客对神经网络基础解释的很好。
其中,BP方向传播过程中,残差计算如下:
为了便于理解,后面我一律用“残差(error term)”这个词来表示误差的偏导数。
输出层→隐藏层:残差 = -(输出值-样本值) * 激活函数的导数
隐藏层→隐藏层:残差 = (右层每个节点的残差加权求和)* 激活函数的导数
如果输出层用Purelin作激活函数,Purelin的导数是1,输出层→隐藏层:残差 = -(输出值-样本值)
如果用Sigmoid(logsig)作激活函数,那么:Sigmoid导数 = Sigmoid*(1-Sigmoid)
输出层→隐藏层:残差 = -(Sigmoid输出值-样本值) * Sigmoid*(1-Sigmoid) = -(输出值-样本值)输出值(1-输出值)
隐藏层→隐藏层:残差 = (右层每个节点的残差加权求和)* 当前节点的Sigmoid*(1-当前节点的Sigmoid)
相关文章推荐
- 【转】机器学习入门——浅谈神经网络
- 数学之路(3)-机器学习(3)-机器学习算法-神经网络[18]
- 机器学习之径向基神经网络(RBF NN)
- 机器学习及神经网络发展历程
- 基于神经网络的机器学习基础
- 机器学习之递归神经网络RNN实现二进制加法
- 数学之路(3)-机器学习(3)-机器学习算法-神经网络[2]
- 神经网络与机器学习笔记——K-均值聚类
- 【机器学习】神经网络总结
- 机器学习知识体系 - 神经网络(基础)
- 机器学习----神经网络(二)BP算法
- 机器学习之深入理解神经网络理论基础、BP算法及其Python实现
- 机器学习笔记:神经网络
- 机器学习与神经网络
- python机器学习之神经网络(一)
- 机器学习—第四周—作业2—用深度神经网络分类图像
- 机器学习之文本分类-神经网络TensorFlow实现(一)
- 斯坦福大学机器学习第九课“神经网络的学习(Neural Networks: Learning)”
- 机器学习-神经网络-手写字体识别
- 机器学习之神经网络模型-上(Neural Networks: Representation)