BP神经网络推导过程详解

http://www.cnblogs.com/biaoyu/archive/2015/06/20/4591304.html

BP神经网络推导过程详解

BP算法是一种最有效的多层神经网络学习方法，其主要特点是信号前向传递，而误差后向传播，通过不断调节网络权重值，使得网络的最终输出与期望输出尽可能接近，以达到训练的目的。
一、多层神经网络结构及其描述
下图为一典型的多层神经网络。



通常一个多层神经网络由L层神经元组成，其中：第1层称为输入层，最后一层（第L层）被称为输出层，其它各层均被称为隐含层（第2层~第L-1层）。
令输入向量为：

x⃗ =[x1x2…xi…xm],i=1,2,…,m

输出向量为：

y⃗ =[y1y2…yk…yn],k=1,2,…,n

第l隐含层各神经元的输出为：

h(l)=[h(l)1h(l)2…h(l)j…h(l)sl],j=1,2,…,sl

其中，sl为第l层神经元的个数。
设W(l)ij为从l-1层第j个神经元与l层第i个神经元之间的连接权重；b(l)i为第l层第i个神经元的偏置，那么：

h(l)i=f(net(l)i)

net(l)i=∑j=1sl−1W(l)ijh(l−1)j+b(l)i

其中，net(l)i为l层第i个神经元的输入，f(⋅)为神经元的激活函数。通常在多层神经网络中采用非线性激活函数，而不是用线性激活函数，因为采用基于线性激活函数的多层神经网络本质上还是多个线性函数的叠加，其结果仍然为一个线性函数。
二、激活函数
BP神经网络通常使用下面两种非线性激活函数：

f(x)=11+e−x

f(x)=1−e−x1+e−x

第一种称为sigmod函数或者logistics函数，第二种为双曲正切函数。
Sigmod函数的图像如下图所示，它的变化范围为(0,
1)，其导数为f′=f(1−f)。



双曲正切函数的图像如下图所示，它的变化范围为(-1, 1)，其导数为f′=1−f2。



三、BP算法推导过程
假定我们有m个训练样本{(x(1),y(1)),(x(2),y(2)),…,(x(m),y(m))}，其中d(i)为对应输入x(i)的期望输出。BP算法通过最优化各层神经元的输入权值以及偏置，使得神经网络的输出尽可能地接近期望输出，以达到训练（或者学习）的目的。
采用批量更新方法，对于给定的m个训练样本，定义误差函数为：

E=1m∑i=1mE(i)

其中，E(i)为单个样本的训练误差：

E(i)=12∑k=1n(dk(i)−yk(i))2

因此，

E=12m∑i=1m∑k=1n(dk(i)−yk(i))2

BP算法每一次迭代按照以下方式对权值以及偏置进行更新：

W(l)ij=W(l)ij−α∂E∂W(l)ij

b(l)i=b(l)i−α∂E∂b(l)i

其中，α为学习速率，它的取值范围为(0,
1)。BP算法的关键在于如何求解W(l)ij和b(l)i的偏导数。
对于单个训练样本，输出层的权值偏导数计算过程：

∂E(i)∂W(L)kj=∂∂W(L)kj(12∑k=1n(dk(i)−yk(i))2)=∂∂W(L)kj(12(dk(i)−yk(i))2)=−(dk(i)−yk(i))∂yk(i)∂W(L)kj=−(dk(i)−yk(i))∂yk(i)∂net(L)k∂net(L)k∂W(L)kj=−(dk(i)−yk(i))f(x)′|x=net(L)k∂net(L)k∂W(L)kj=−(dk(i)−yk(i))f(x)′|x=net(L)kh(L−1)j

即：

∂E(i)∂W(L)kj=−(dk(i)−yk(i))f(x)′|x=net(L)kh(L−1)j

同理可得，

∂E(i)∂b(L)k=−(dk(i)−yk(i))f(x)′|x=net(L)k

令：

δ(L)k=−(dk(i)−yk(i))f(x)′|x=net(L)k

则：

∂E(i)∂W(L)kj=δ(L)kh(L)j

∂E(i)∂b(L)k=δ(L)k

对隐含层L-1层：

∂E(i)∂W(L−1)ji=∂∂W(L−1)ji(12∑k=1n(dk(i)−yk(i))2)=∂∂W(L−1)ji(12∑k=1n(dk(i)−f(∑j=1sL−1W(L)kjh(L−1)j+b(L)k))2)=∂∂W(L−1)ji(12∑k=1n(dk(i)−f(∑j=1sL−1W(L)kjf(∑i=1sL−2W(L−2)jih(L−2)i+b(L−1)j)+b(L)k))2)=−∑k=1n(dk(i)−yk(i))f(x)′|x=net(L)k∂net(L)k∂W(L−1)ji

因为，

net(L)k=∑j=1sL−1W(L)kjh(L−1)j+b(L)k=∑j=1sL−1W(L)kjf(∑i=1sL−2W(L−2)jih(L−2)i+b(L−1)j)+b(L)k=∑j=1sL−1W(L)kjf(net(L−1)j)

所以，

∂E(i)∂W(L−1)ji=∑k=1n(dk(i)−yk(i))f(x)′|x=net(L)k∂net(L)k∂W(L−1)ji=∑k=1n(dk(i)−yk(i))f(x)′|x=net(L)k∂net(L)k∂f(net(L−1)j)∂f(net(L−1)j)∂net(L−1)j∂net(L−1)j∂W(L−1)ji=∑k=1n(dk(i)−yk(i))f(x)′|x=net(L)kW(L)kjf(x)′|x=net(L−1)jh(L−2)i

同理，

∂E(i)∂b(L−1)j=∑k=1n(dk(i)−yk(i))f(x)′|x=net(L)kW(L)kjf(x)′|x=net(L−1)j

令：

δ(L−1)j=∑k=1n(dk(i)−yk(i))f(x)′|x=net(L)kW(L)kjf(x)′|x=net(L−1)j=∑k=1nW(L)kjδ(L)kf(x)′|x=net(L−1)j

∂E(i)∂W(L−1)ji=δ(L−1)jh(L−2)i

∂E(i)∂b(L−1)j=δ(L−1)j

由上可推，第l层（2≤l≤L−1）的权值和偏置的偏导可以表示为：

∂E(i)∂W(l)ji=δ(l)jh(l−1)i

∂E(i)∂b(l)j=δ(l)j

其中，

δ(l)j=∑k=1sl+1W(l+1)kjδ(l+1)kf(x)′|x=net(l)j

四、BP算法过程描述
采用批量更新方法对神经网络的权值和偏置进行更新：

对所有的层2≤l≤L，设ΔW(l)=0,Δb(l)=0，这里ΔW(l)和Δb(l)分别为全零矩阵和全零向量；

For i = 1:m，

使用反向传播算法，计算各层神经元权值和偏置的梯度矩阵∇W(l)(i)和向量和∇b(l)(i)；
计算ΔW(l)=∇W(l)(i)；
计算Δb(l)=∇b(l)(i)。

更新权值和偏置：

计算W(l)=W(l)+1mΔW(l)；
计算b(l)=b(l)+1mΔb(l)。