机器学习笔记（XVI）神经网络（III）误差逆传播(BP)算法

BP网络

定义

一般是指用BP算法训练的多层前反馈神经网络，

BP=(error BackPropagation)

主要用途

用于前馈神经网络

BP算法

定义

给定训练集合：

D={(x1,y1),(x2,y2),…,(xm,ym)},xi∈Rd,yi∈Rℓ

为了构造这样一个神经网络，我们需要d个输入神经元，ℓ个输出神经元，于是添加q个隐层神经元，便有下图。



其中：

输出层的第j个神经元的阈值用θj表示，

隐层的第h个神经元的阈值用γh表示，

vih表示输入层第i个神经元与隐层第h个神经元之间的连接权重

whj表示隐层第h个神经元与输出层第j个神经元之间的连接权重

bh为隐层第h个神经元的输出

第h个隐层得到的输入是αh=∑di=1vihxi

输出层第j个神经元接收到的输入是βj=∑qh=1whjbh

假设：

隐层和输出层都使用同一个Sigmoid函数



sigmoid(x)=11+e−x

处理过程

伪代码

目标

最小化训练集合上的累计误差：

E=1m∑k=1mEk

书里的公式明天再推吧。