统计学习方法读书笔记--3.K近邻法

定义

求与向量x距离最近的k个向量,将多数向量的类别作为x的类别;

分类,回归;

三要素

距离度量

k值的选择

分类决策规则

距离度量

Lp距离

Minkowski距离

欧氏距离;

Lp定义

Lp(xi,xj)=(∑l=1n∣∣x(l)i−x(l)j∣∣p)1p

p=2时为欧氏距离,平面距离;

p=1时为曼哈顿距离,差的绝对值;

p=∞ ,它是各个坐标距离的最大值,即:

L∞(xi,xj)=maxl∣∣x(l)i−x(l)j∣∣

K值的选择

k值较小,近似误差小,估计误差大,容易发生过拟合;

k值较大,近似误差大,估计误差小,不相似的实例也会对预测起到作用,是预测发生错误;模型变得简单;

实际应用:k取比较小的值,通过交叉验证来选择最优的k

分类决策规划

多数表决规则;

实现-kd树

多维空间分割树,KD树

KD树在POI中的应用

通过KD树,快速找到与用户最近的k个商家;

查到用户指定距离中的POI;

其他

R树,

BallTree;