浅谈机器学习——感知机

一、简介

感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误差分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机学习算法简单而易于实现，分为原始形式和对偶形式，1957年由Rosenblatt提出，是神经网络与支持向量机的基础。

二、感知机模型

由输入空间到输出空间的如下函数：

f(x)=sign(w∗x+b)

称为感知机。其中，w和b为感知机模型参数，w为权值向量，b为偏置，w*b表示w和x的内积，sign是符号函数。

三、感知机学习策略

损失函数定义为L(w,b)=−∑xi−Myi(w∗xi+b)　

其中M为误分类点的集合，这个损失函数就是感知机学习的经验风险函数。损失函数L（w,b）是非负的，如果没有误分类点，损失函数值是0。而且，误分类点越少，误分类点离超平面越近，损失函数值就越小，因此，给定训练数据集T，损失函数L(w,b)是w,b的连续可导函数。

四、感知机学习算法

感知机学习算法是对以下问题的优化算法：

给定一个训练数据集T，求参数w,b使其为以下损失函数极小化问题的解minw,bL(w,b)=−∑xi∈Myi(w∗xi+b)

假设误分类点的集合M是固定的，那么损失函数L(w,b)的梯度由∇wL(w,b)=−∑xi∈Myixi∇bL(w,b)=−∑xi∈Myi给出。

随机选取一个误分类点(xi,yi),对w,b进行更新：w=w+ηyixi b=b+ηyi

式中，η(0<η<1)是步长，又称为学习率。这样，通过迭代可以期待损失函数L(w,b)不断减小，直到为0.