python机器学习之神经网络(一)
2016-06-15 00:00
531 查看
来自http://blog.csdn.net/cui134/article/details/25632981
python有专门的神经网络库,但为了加深印象,我自己在numpy库的基础上,自己编写了一个简单的神经网络程序,是基于Rosenblatt感知器的,这个感知器建立在一个线性神经元之上,神经元模型的求和节点计算作用于突触输入的线性组合,同时结合外部作用的偏置,对若干个突触的输入求和后进行调节。为了便于观察,这里的数据采用二维数据。
目标函数是训练结果的误差的平方和,由于目标函数是一个二次函数,只存在一个全局极小值,所以采用梯度下降法的策略寻找目标函数的最小值。
代码如下:
[python]
view plain
copy
![](http://static.oschina.net/uploads/img/201606/15105954_9Xlq.png)
![](http://static.oschina.net/uploads/img/201606/15105954_6My3.svg)
import numpy as np
import pylab as pl
b=1 #偏置
a=0.3 #学习率
x=np.array([[b,1,3],[b,2,3],[b,1,8],[b,2,15],[b,3,7],[b,4,29],[b,4,8],[b,4,20]]) #训练数据
d=np.array([1,1,-1,-1,1,-1,1,-1]) #训练数据类别
w=np.array([b,0,0]) #初始w
def sgn(v):
if v>=0:
return 1
else:
return -1
def comy(myw,myx):
return sgn(np.dot(myw.T,myx))
def neww(oldw,myd,myx,a):
return oldw+a*(myd-comy(oldw,myx))*myx
for ii in range(5): #迭代次数
i=0
for xn in x:
w=neww(w,d[i],xn,a)
i+=1
print w
myx=x[:,1] #绘制训练数据
myy=x[:,2]
pl.subplot(111)
x_max=np.max(myx)+15
x_min=np.min(myx)-5
y_max=np.max(myy)+50
y_min=np.min(myy)-5
pl.xlabel(u"x")
pl.xlim(x_min,x_max)
pl.ylabel(u"y")
pl.ylim(y_min,y_max)
for i in range(0,len(d)):
if d[i]==1:
pl.plot(myx[i],myy[i],'r*')
else:
pl.plot(myx[i],myy[i],'ro')
#绘制测试点
test=np.array([b,9,19])
if comy(w,test)>0:
pl.plot(test[1],test[2],'b*')
else:
pl.plot(test[1],test[2],'bo')
test=np.array([b,9,64])
if comy(w,test)>0:
pl.plot(test[1],test[2],'b*')
else:
pl.plot(test[1],test[2],'bo')
test=np.array([b,9,16])
if comy(w,test)>0:
pl.plot(test[1],test[2],'b*')
else:
pl.plot(test[1],test[2],'bo')
test=np.array([b,9,60])
if comy(w,test)>0:
pl.plot(test[1],test[2],'b*')
else:
pl.plot(test[1],test[2],'bo')
#绘制分类线
testx=np.array(range(0,20))
testy=testx*2+1.68
pl.plot(testx,testy,'g--')
pl.show()
for xn in x:
print "%d %d => %d" %(xn[1],xn[2],comy(w,xn))
![](http://static.oschina.net/uploads/img/201606/15105955_CGDi.jpg)
图中红色是训练数据,蓝色是测试数据,圆点代表类别-1.星点代表类别1。由图可知,对于线性可分的数据集,Rosenblatt感知器的分类效果还是不错的
python有专门的神经网络库,但为了加深印象,我自己在numpy库的基础上,自己编写了一个简单的神经网络程序,是基于Rosenblatt感知器的,这个感知器建立在一个线性神经元之上,神经元模型的求和节点计算作用于突触输入的线性组合,同时结合外部作用的偏置,对若干个突触的输入求和后进行调节。为了便于观察,这里的数据采用二维数据。
目标函数是训练结果的误差的平方和,由于目标函数是一个二次函数,只存在一个全局极小值,所以采用梯度下降法的策略寻找目标函数的最小值。
代码如下:
[python]
view plain
copy
![](http://static.oschina.net/uploads/img/201606/15105954_9Xlq.png)
import numpy as np
import pylab as pl
b=1 #偏置
a=0.3 #学习率
x=np.array([[b,1,3],[b,2,3],[b,1,8],[b,2,15],[b,3,7],[b,4,29],[b,4,8],[b,4,20]]) #训练数据
d=np.array([1,1,-1,-1,1,-1,1,-1]) #训练数据类别
w=np.array([b,0,0]) #初始w
def sgn(v):
if v>=0:
return 1
else:
return -1
def comy(myw,myx):
return sgn(np.dot(myw.T,myx))
def neww(oldw,myd,myx,a):
return oldw+a*(myd-comy(oldw,myx))*myx
for ii in range(5): #迭代次数
i=0
for xn in x:
w=neww(w,d[i],xn,a)
i+=1
print w
myx=x[:,1] #绘制训练数据
myy=x[:,2]
pl.subplot(111)
x_max=np.max(myx)+15
x_min=np.min(myx)-5
y_max=np.max(myy)+50
y_min=np.min(myy)-5
pl.xlabel(u"x")
pl.xlim(x_min,x_max)
pl.ylabel(u"y")
pl.ylim(y_min,y_max)
for i in range(0,len(d)):
if d[i]==1:
pl.plot(myx[i],myy[i],'r*')
else:
pl.plot(myx[i],myy[i],'ro')
#绘制测试点
test=np.array([b,9,19])
if comy(w,test)>0:
pl.plot(test[1],test[2],'b*')
else:
pl.plot(test[1],test[2],'bo')
test=np.array([b,9,64])
if comy(w,test)>0:
pl.plot(test[1],test[2],'b*')
else:
pl.plot(test[1],test[2],'bo')
test=np.array([b,9,16])
if comy(w,test)>0:
pl.plot(test[1],test[2],'b*')
else:
pl.plot(test[1],test[2],'bo')
test=np.array([b,9,60])
if comy(w,test)>0:
pl.plot(test[1],test[2],'b*')
else:
pl.plot(test[1],test[2],'bo')
#绘制分类线
testx=np.array(range(0,20))
testy=testx*2+1.68
pl.plot(testx,testy,'g--')
pl.show()
for xn in x:
print "%d %d => %d" %(xn[1],xn[2],comy(w,xn))
![](http://static.oschina.net/uploads/img/201606/15105955_CGDi.jpg)
图中红色是训练数据,蓝色是测试数据,圆点代表类别-1.星点代表类别1。由图可知,对于线性可分的数据集,Rosenblatt感知器的分类效果还是不错的
相关文章推荐
- [Deep Learning]学习记录1-Python实现神经网络BP算法
- 卷积神经网络在自然语言处理的应用
- 手把手入门神经网络系列(2)_74行代码实现手写数字识别
- Apache httpd与tomcat集群
- 从头开始实现神经网络:入门
- 【深度学习】卷积神经网络(Convolutional Neural Network)
- 深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-01-CNN基础知识点
- 人工神经网络的深入理解
- 机器学习算法汇总:人工神经网络、深度学习及其它
- 十一行Python代码实现一个神经网络(第一部分)
- 神经网络训练中的训练集、验证集以及测试集合
- 理解LSTM网络
- 卷积神经网络在句子分类上的应用[翻译]
- 循环神经网络(RNN, Recurrent Neural Networks)介绍
- 外贸企业如何选择域名服务器租用网络时代IDC问答
- 使用fiddler模拟http请求
- java笔记—网络通信socket的例子
- 如何将数据库引擎配置为侦听多个 TCP 端口
- SQL SERVER 2012、2014网络配置
- tomcat7+jdk的keytool生成证书 配置https