2_1最近邻算法kNN(k_nearest_neighbor)——classify0_2_1

声明：《机器学习实战》代码详细注释和重构，以及相关的函数、模块和算法的解释；本文为博主原创文章，未经博主允许不得转载。

1. k-近邻算法（程序清单2-1）

*#代码：Peter Gong_shuai

*#中文注释：Gong_shuai

*#代码重构：Gong_shuai

*#函数注解：Gong_shuai

*#相关的函数、模块和算法的解释：Gong_shuai

*#环境：Python2.7、Sublime Text3、mac

2. 代码

#coding=utf-8
#k-近邻算法（程序清单2-1）

#代码：Peter  Gong_shuai
#中文注释：Gong_shuai
#代码重构：Gong_shuai
#函数注解：Gong_shuai
#环境：python2.7

from numpy import *
import operator

#创建数据集和标签
def createDataSet():
group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
labels = ['A','A','B','B']
return group, labels

#伪代码：
#对未知类别属性的数据集中的每个点依次执行以下操作:
#(1)计算已知类别数据集中的点与当前点之间的距离;
#(2)按照距离递增次序排序;
#(3)选取与当前点距离最小的走个点;
#(4)确定前灸个点所在类别的出现频率;
#(5)返回前女个点出现频率最高的类别作为当前点的预测分类。

#函数说明：
#1.tile（A，n）重复某个数组，将数组A重复n次，构成一个新的数组
# >>>a = [0,1,2]
# >>>b = tile(a,2)
# b
# array([0,1,2,0,1,2])
#k近邻算法
def classify0(inX, dataSet, labels, k):    #输入向量，输入的训练样本集，标签向量，选择最近邻的数目
dataSetSize = dataSet.shape[0]    #距离计算
diffMat = tile(inX, (dataSetSize,1)) - dataSet   #重复数组
sqDiffMat = diffMat**2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances**0.5
sortedDistIndicies = distances.argsort()     #选择距离最小的k个点
classCount={}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)    #排序
return sortedClassCount[0][0]

group,labels = createDataSet()
print classify0([0,0], group, labels, 3)

3. 运行结果