神经网络之后向传播分类（Classification by Backpropagation）

本算法是根据《数据挖掘概念与技术》第三版中的后向传播分类算法实现而来，中文书籍中有不少细节错误，影响阅读与判断，推荐看原书《Data Mining Concepts and Techniques》第三版。阅读本文需要注意以下两点：一是本文在与原书数据保持一致的情况下构造了输入数据矩阵文件，矩阵的下标与节点是相对应的，这点在程序中做了详细说明；二是While循环条件原书没有具体的设定，而且实验中也只是循环了一次，所以本程序也只进行了单次的验证，具体的设定需要根据实际情况而定。

本文参考原著，所以给出原著中该算法的伪代码，以及网络结构截图，更为详细的说明请参照原书





以下是该算法实现的Matlab程序：

clc;
clear;
%加载测试数据文件
fileID = fopen('D:\matlabFile\Backward propagation\BP.txt');
DS=textscan(fileID,'%f %f %f %f %f %f');
fclose(fileID);
%将数据转换为矩阵格式，该矩阵的第一行为输入值，最后一行为输出值，倒数第二行为各节点的偏移量，中间为权重矩阵，
BP=[];
for i=1:length(DS)
BP=cat(2,BP,DS{i});
end
%取出输入层
Input=BP(1,:);
%取出偏移量
[Row,Column]=size(BP);
Theta=BP(Row-1,:);
%取出输出值
Output=BP(Row,:);
%取出权重矩阵，该矩阵因为是对称矩阵，所以我们只取上半部分
Weight=BP(2:Row-2,:);
%对各层的目标值进行设定，这里为了计算方便，将输入层也纳入计算，与输入值保持一致，隐藏层没有目标值，设为0，输出层为1
Target=Input;
Target(Column)=1;
%定义学习率
L=0.9;
%对输入层进行备份
Input_hidden=Input;
%%%%%%========这里特别要注意===========循环条件视情况而定，这里只是临时设定一个条件
while L>0
%将输入层的值直接赋给输出值
for i=1:length(Input)
if Input(i)~=0
Output(i)=Input(i);
end
end
%计算隐藏层和输出层的值，这里为了方便计算，对权重矩阵进行了转置
Weight=Weight';
for i=1:Column
%计算隐藏节点的输入值
Input_H=0;
for j=1:i
Input_H=Input_H+Weight(i,j)*Output(j);
end
%在输入值上加偏移量
Input_hidden(i)=Input_H+Theta(i);
if Input_hidden(i)~=0
%计算隐藏节点的输出量
Output(i)=1/(1+exp(-Input_hidden(i)));
end
end
%后向传播误差矩阵
Err=size(1,Column);
%计算每一个节点的误差
%首先计算输出层的误差，这里输出值的目标值为1
Err(Column)=Output(Column)*(1-Output(Column))*(Target(Column)-Output(Column));
%计算其他层的误差，输入层都为0
for i=Column-1:-1:1
Err_sum=0;
for j=i+1:Column
%这里注意权重矩阵做了转置，对下标进行了交换
Err_sum=Err_sum+Weight(j,i)*Err(j);
end
Err(i)=Output(i)*(1-Output(i))*Err_sum;
end
%更新权重矩阵
for i=1:Column
for j=1:i
%原为零值，直接跳过
if Weight(i,j)==0
continue;
end
Weight(i,j)=Weight(i,j)+L*Err(i)*Output(j);
end
end
%更新偏移量
for i=1:Column
Theta(i)=Theta(i)+L*Err(i);
end
end

下面是数据文件，拷贝之后保存为BP.txt

1 0 1 0 0 0

0 0 0 0.2 -0.3 0

0 0 0 0.4 0.1 0

0 0 0 -0.5 0.2 0

0 0 0 0 0 -0.3

0 0 0 0 0 -0.2

0 0 0 0 0 0

0 0 0 -0.4 0.2 0.1

0 0 0 0 0 0