《机器学习实战》学习笔记一：k-近邻算法（kNN）

k-近邻算法（以下简称kNN）是分类算法中比较简单的一种，KNN算法的一般流程为：（1）收集数据，如从文件中导入数据（2）准备数据，将数据转化为适合计算的格式，如矩阵的形式（3）分析数据（4）测试数据,计算分类的错误率（5）应用算法，给定输入，得到相应的输出，指出改数据属于哪一种分类。

kNN算法的过程如下：

（1）计算数据集中各点与当前点（给定数据）之间的距离；

（2）按照距离的递增次序排序；

（3）选取与当前点距离最小的k个点

（4）统计前k个点所在的类别出现的频率

（5）返回频率最高的点所在的类别，此类别为当前点的预测分类

具体实现代码如下：

def classify0(inX, dataSet, labels, k):
dataSetSize = dataSet.shape[0] #返回矩阵的行数
diffMat = tile(inX, (dataSetSize,1)) - dataSet
sqDiffMat = diffMat**2
sqDistances = sqDiffMat.sum(axis=1)#计算两点间的距离
sortedDistIndicies = distances.argsort()
#按照距离从小到大的顺序对下标排序
classCount={}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
#统计分类出现的频率，并且按照从高到低排序
# iteritems()是python2.x中的，在python3.x废除了在这里用items
return sortedClassCount[0][0]