《机器学习实战》读书笔记之k-近邻算法
2016-07-07 02:26
288 查看
k-近邻算法概述
k-近邻算法采用测量不同特征值之间的距离方法进行分类。准备:使用Python导入数据
创建名为kNN.py的Python模块,本章使用的所有代码都在这个文件中。编写通用函数
from numpy import * import operator #执行排序时需要用到运算符模块 def createDataSet(): group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) labels = ['A','A','B','B'] return group, labels保存kNN.py文件,进入其路径,输入下列命令导入该模块:
>>> import kNN
>>> group,labels = kNN.creatDataSet()
实施kNN算法
伪代码:对未知类别属性的数据集中的每个点依次执行以下操作:
1.计算已知类别数据集中的点与当前点之间的距离;
2.按照距离递增依次排序;
3.选取与当前点距离最小的k个点;
4.确定前k个点所在类别的出现概率;
5.返回前k个点出现频率最高的类别作为当前点的预测分类。
程序清单:
def classify0(inX, dataSet, labels, k): dataSetSize = dataSet.shape[0] diffMat = tile(inX, (dataSetSize,1)) - dataSet sqDiffMat = diffMat**2 sqDistances = sqDiffMat.sum(axis=1) distances = sqDistances**0.5 sortedDistIndicies = distances.argsort() classCount={} for i in range(k): voteIlabel = labels[sortedDistIndicies[i]] classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1 sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True) return sortedClassCount[0][0]
>>> kNN.classify0([0,0], group,labels,3)
在约会网站上使用k-近邻算法
在约会网站上使用k-近邻算法1.收集数据:提供文本文件。
2.准备数据:使用Python解析文本文件。
3.分析数据:使用Matplotlib画二维扩散图。
4.训练算法
5.测试算法
6.使用算法
准备数据:从文本文件中解析数据
数据共1000行,每个样本占据一行,包含3个特征。def file2matrix(filename): fr = open(filename) arrayOLines = fr.readlines() numberOfLines = len(arrayOLines) returnMat = zeros((numberOfLines,3)) classLabelVector = [] index = 0 for line in arrayOLines: line = line.strip() listFromLine = line.split('\t') returnMat[index,:] = listFromLine[0:3] classLabelVector.append(int(listFromLine[-1])) index += 1 return returnMat,classLabelVector
分析数据:使用Matplotlib创建散点图
>>> import matplotlib >>> import matplotlib.pyplot as plt >>> fig = plt.figure() >>> ax = fig.add_subplot(111) >>> ax.scatter(datingDataMat[:,1],datingDataMat[:,2]) >>> plt.show()
准备数据:归一化数值
def autoNorm(dataSet): minVals = dataSet.min(0) maxVals = dataSet.max(0) ranges = maxVals - minVals normDataSet = zeros(shape(dataSet)) m = dataSet.shape[0] normDataSet = dataSet - tile(minVals, (m,1)) normDataSet = normDataSet/tile(ranges, (m,1)) #element wise divide return normDataSet, ranges, minVals
测试算法:作为完整程序验证分类器
def datingClassTest(): hoRatio = 0.50 #hold out 10% datingDataMat,datingLabels = file2matrix('datingTestSet2.txt') #load data setfrom file normMat, ranges, minVals = autoNorm(datingDataMat) m = normMat.shape[0] numTestVecs = int(m*hoRatio) errorCount = 0.0 for i in range(numTestVecs): classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3) print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i]) if (classifierResult != datingLabels[i]): errorCount += 1.0 print "the total error rate is: %f" % (errorCount/float(numTestVecs)) print errorCount
手写识别系统
准备数据:将图像转换为测试向量
def img2vector(filename): returnVect = zeros((1,1024)) fr = open(filename) for i in range(32): lineStr = fr.readline() for j in range(32): returnVect[0,32*i+j] = int(lineStr[j]) return returnVect
使用k-近邻算法识别手写数字
确保将from os import listdir写入文件的起始部分训练文件名例如:“1_30.txt”、“9_49.txt”等。
def handwritingClassTest(): hwLabels = [] trainingFileList = listdir('trainingDigits') #load the training set m = len(trainingFileList) trainingMat = zeros((m,1024)) for i in range(m): fileNameStr = trainingFileList[i] fileStr = fileNameStr.split('.')[0] #take off .txt classNumStr = int(fileStr.split('_')[0]) hwLabels.append(classNumStr) trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr) testFileList = listdir('testDigits') #iterate through the test set errorCount = 0.0 mTest = len(testFileList) for i in range(mTest): fileNameStr = testFileList[i] fileStr = fileNameStr.split('.')[0] #take off .txt classNumStr = int(fileStr.split('_')[0]) vectorUnderTest = img2vector('testDigits/%s' % fileNameStr) classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3) print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr) if (classifierResult != classNumStr): errorCount += 1.0 print "\nthe total number of errors is: %d" % errorCount print "\nthe total error rate is: %f" % (errorCount/float(mTest))
小结
k-近邻算法是分类数据最简单最有效的算法,必须保留全部数据集,占用存储空间大,耗时。另一个缺陷是,它无法给出任何数据的基础结构信息,因此我们也无法知晓平均实例样本和典型实例样本具有什么特征。
相关文章推荐
- apache 三种工作模式的讲解
- Java 泛型 泛型数组
- Java类的一般形式
- 设计模式之工厂模式
- Primes Product
- Android音频实时传输与播放(三):AMR硬编码与硬解码
- ListView加CheckBox简单实现批量删除
- 终于写完了C语言的期末作业😂😂😂
- 自定义RxJava之旅
- Linux 2.0.2 中select()的主要代码片断——The C10M Problem
- Selenium webdriver实现原理
- python中字典按键或键值排序
- Button点击事件(显隐2)
- 《机器学习实战》读书笔记之机器学习基础
- bzoj2154(莫比乌斯反演)
- [LeetCode]Sum of Two Integers
- bootstrap modal 垂直居中对齐
- CVP认证学习笔记--李天宇027对资源的管理
- 苹果发布 iOS 9.3.3 第五个开发者测试版和公测版
- Android 用MediaCodec实现视频硬解码