机器学习：感知机模型

感知机模型

感知机模型，主要的思想是用一个函数，通过不断的调节权值和偏置的数值，将一个线性可分的集合分类

感知机算法

fx=sign（w*x + b )

sign={ 1 x>=0,-1 x<0)

对于最优的w,b的值，采用了损失函数 L（w,b） = - sum (xi 属于 M ） yi（w*xi+b)

M 为错误分类点的集合

感知机学习算法包括两种 ： 原始形式，对偶形式

原始形式：

min(w,b) = - sum (xi 属于 M ） yi（w*xi+b) 求出最小的w，b

通过随机梯度下降法计算

L（w,b) 的梯度

wL（w,b) = - sum (xi 属于 M ）xiyi

bL(w,b) = - sum (xi 属于 M ）yi

随机选取错误分点： xi yi

w =w + n xiyi

b= b + n yi n 为步长

通过迭代使期待损失函数不断减少

伪代码实现

1 选取 初值 w0, b0

2 选取 xi yi

3 yi(w* xi + b )<= 0

w = w + n xiyi

b = b+ n yi

迭代直到损失函数减少到0

对偶形式：

感知机模型： fx = sign (sum 1-n ai* yi * xi * x + b)

ai 的梯度： a = a+ n

b 的梯度 b =b + nyi n 为步长

伪代码实现：

1 选取 初值 w0, b0

2 选取 xi yi

3 yi(ai*yi* xi*x + b )<= 0

a =a + n

b = b+ n yi

迭代直到损失函数减少到0