kNN算法学习笔记

假期开始学习Peter Harrington的《机器学习实战》一书，为督促自己学习，同时也分享一下经历，打算开始写下这一系列文章记录。
kNN算法，也是k-邻近算法，是一个分类算法，该算法的思想也比较简单，我们事先知道一些数据，也知道每条数据对应的分类关系，输入没有分类的新数据后，将新数据与已知数据中的每条数据进行比较，选择k个与之最相似（距离最近）的样本，新数据分类与这k个样本中多数类别相同，通常k值位于20以内。
kNN算法的一般流程如下：
1、收集数据；
2、准备数据：将数据以自己需要的格式进行准备；
3、分析数据：通过画图等一系列手段分析数据，查看大概规律等；
4、训练算法：kNN算法属于惰性学习，没有显示学习过程；
5、测试算法：用测试集测试，计算错误概率，更改参数，减小错误率；
6、使用算法。
根据一个手写识别系统的例子来说明以上步骤：
根据提供的图像文本，根据kNN算法分类，识别出是哪一个数字，因为数据集只有0~9，因此也只能识别0~9，需要识别的图像已经处理为黑白图像，如下所示：







图像为32*32的黑白图像，需要转化为1*1024的向量，编写下面函数进转化：def img2vector(filename):
returnVect = zeros((1, 1024))
fr = open(filename)
for i in range(32):
lineStr = fr.readline()
for j in range(32):
returnVect[0, 32*i+j] = int(lineStr[j])

return returnVect编写kNN算法实现代码，需要numpy库进行一系列矩阵运算，需要operator库进行迭代器参数输入，如下：
def classify0(inX, dataSet, labels, k):
dataSetSize = dataSet.shape[0]
diffMat = tile(inX, (dataSetSize, 1)) - dataSet
sqDiffMat = diffMat ** 2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances ** 0.5
sortedDistIndicies = distances.argsort()
classCount = {}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
return sortedClassCount[0][0]编写算法测试代码，用测试数据集对算法进行测试，需要os库进行目录操作，如下：
def handwriteClassTest():
hwLabels = []
k = 5
trainFileList = listdir('trainingDigits')
trainFileListSize = len(trainFileList)
trainMat = zeros((trainFileListSize, 1024))
for i in range(trainFileListSize):
fileNameStr = trainFileList[i]
classNumStr = int(fileNameStr.split('_')[0])
hwLabels.append(classNumStr)
trainMat[i, :] = img2vector('trainingDigits/' + fileNameStr)
testFileList = listdir('testDigits')
testFileListSize = len(testFileList)
error = 0.0
for i in range(testFileListSize):
fileNameStr = testFileList[i]
classNumStr = int(fileNameStr.split('_')[0])
testVector = img2vector('testDigits/' + fileNameStr)
classifierResult = classify0(testVector, trainMat, hwLabels, k)
if classifierResult != classNumStr:
error += 1
print('classify result:%d, real result:%d' %(classifierResult, classNumStr))
errorRate = error/float(testFileListSize)
print('error number is: %d' %error)
print('error rate is: %f' %errorRate)测试结果如下：









在测试代码中，k=5，可以更改k值，来降低测试的错误率，这需要多次调试才能得到比较合适的k值。
完整代码可以在以下github中查看： https://github.com/resistzzz/kNN