人工神经网络(Artificial Neural Netwroks)笔记-离散单输出感知器算法
2008-06-29 23:08
351 查看
最近在重新学习人工神经网络(Artificial Neural Netwroks),做做笔记,整理思路
离散单输出感知器算法,传说中的MP
二值网络:自变量及其函数的值、向量分量的值只取0和1函数、向量
权向量:W=(w1,w2,w3.....wn)
输入向量:X=(x1,x2,x3.....xn)
训练样本集
{(X,Y)|Y为输入向量X的输出}
训练过程比较简单
如下:
1,初始化权向量W
2,重复下列过程,直到训练完成:
2.1对每个样本(X,Y),重复如下过程:
2.1.1输入X
2.1.2计算 O=F(XW)
2.1.3如果输出不正确,则改变权重
当O=1时,W=W-X
当O=0时,W=W+X
比较有意思的是 权重向量的调整
一开始的时候比较难想明白,但是如果只是求一个近似解的话,那么一切都很简单了。值只是一个不断逼近的变化过程。
还有一点初始化权重的时候都是随机的,因此这个调整权重的过程也更随意了
之前一直想着支持向量机(SVM)的事情,因此对于这样一种权重的调整过程有点犯困。
SVM是全局最优,ANN是局部最优,因此ANN权重调整的过程更简单了。
离散单输出感知器算法,传说中的MP
二值网络:自变量及其函数的值、向量分量的值只取0和1函数、向量
权向量:W=(w1,w2,w3.....wn)
输入向量:X=(x1,x2,x3.....xn)
训练样本集
{(X,Y)|Y为输入向量X的输出}
训练过程比较简单
如下:
1,初始化权向量W
2,重复下列过程,直到训练完成:
2.1对每个样本(X,Y),重复如下过程:
2.1.1输入X
2.1.2计算 O=F(XW)
2.1.3如果输出不正确,则改变权重
当O=1时,W=W-X
当O=0时,W=W+X
比较有意思的是 权重向量的调整
一开始的时候比较难想明白,但是如果只是求一个近似解的话,那么一切都很简单了。值只是一个不断逼近的变化过程。
还有一点初始化权重的时候都是随机的,因此这个调整权重的过程也更随意了
之前一直想着支持向量机(SVM)的事情,因此对于这样一种权重的调整过程有点犯困。
SVM是全局最优,ANN是局部最优,因此ANN权重调整的过程更简单了。
相关文章推荐
- 人工神经网络(Artificial Neural Netwroks)笔记--离散多输出感知器训练算法
- 人工神经网络(Artificial Neural Netwroks)笔记-连续多输出感知器算法
- 人工神经网络(Artificial Neural Netwroks)笔记-delta规则增量学习
- 人工神经网络(Artificial Neural Netwroks)笔记-基本BP算法
- 人工神经网络(Artificial Neural Netwroks)笔记-消除样本顺序的BP算法
- 人工神经网络(Artificial Neural Netwroks)笔记
- 人工神经网络(Artificial Neural Netwroks)笔记-模拟退火算法(Simulated Annealing)
- 人工神经网络(Artificial Neural Netwroks)笔记-基本的非确定性统计训练算法
- 人工神经网络(Artificial Neural Netwroks)笔记-径向基函数(Radial Basis Function- RBF)
- 人工神经网络(Artificial Neural Netwroks)笔记-粒子群优化(Partical Swarm Optimization - PSO)
- 人工神经网络(ANN,Artificial Neural Networks)
- 人工神经网络(Artificial Neural Networks, ANN)
- Artificial Neural Networks Applied to Taxi Destination Prediction(阅读笔记)20171207
- 人工神经网络(Artificial Neural Networks)
- 人工神经网络(ANN, artificial neural network)
- 人工神经网络(Artificial Neural Networks)
- 人工神经网络 Artificial Neural Networks - A Tutorial
- STM32学习笔记3-IO配置输入输出
- ESP8266--学习笔记(一)串口输出HelloWorld
- C++ Primer 学习笔记_59_满载操作符与转换 -输入/输出、算术/关系操作符