感知机(perceptron)学习算法的对偶形式

算法：

输入：训练数据集T={(x1,y1),(x2,y2),…,(xN,yN)}，

其中xi∈Rn,yi∈{−1,1}，i=1,2,…,N ；学习率 η(0<η≤1);

输出：α,b；感知机模型f(x)=sign(∑Nj=1αjyjxj⋅x+b).

其中α=(α1,α2,…,αN)T.

(1) α←0,b←0

(2) 在训练集中选取数据(xi,yi)

(3) 如果yi(∑Nj=1αjyjxj⋅xi+b)≤0 αi←αi+η b←b+ηyi

(4) 转至(2),直至训练集中没有误分类点。

模型：

f(x)=sign(∑Nj=1αjyjxj⋅x+b)

策略：

误分类点到超平面 S 的总距离

推理思路：

原始形式：w←w+ηyixi b←b+ηyi

最终修改完成后w,b关于(xi,yi)的增量分别为αiyixi和αiyiw=∑i=1Nαiyixib=∑i=1Nαiyi