K-近邻算法(KNN)

KNN：k-Nearest Neighbor

假设训练集有记录：r1,r2,...,rnr_1,r_2,...,r_n共n条，训练集的特征向量及其对应的类别都是已知的，每个记录的特征向量为：t1,t2,...,tkt_1,t_2,...,t_k共k个特征，待测试的记录为rur_u，

1、计算rur_u的特征向量与训练集的每条记录（即r1,r2,...,rnr_1,r_2,...,r_n）的特征向量的欧式距离，选取距离最小的K个（这也是k近邻算法中k的来历）。

2、看距离最近的k个记录中那个类别的频数最大，取频数最大的作为rur_u的类别。

注意：在计算欧式距离的时候，可以先将数据归一化，这样利于计算，计算起来比较快。