Python3:《机器学习实战》之k近邻算法(1)算法概述
2018-02-01 16:51
417 查看
Python3:《机器学习实战》之k近邻算法(1)算法概述
转载请注明作者和出处:http://blog.csdn.net/u011475210代码地址:https://github.com/WordZzzz/ML/tree/master/Ch02
操作系统:WINDOWS 10
软件版本:python-3.6.2-amd64
编 者:WordZzzz
Python3机器学习实战之k近邻算法1算法概述
前言
一算法介绍
k-近邻算法
一般流程
二代码实现与详解
三主要区分函数
前言:
本渣渣(WordZzzz直接被舍友叫成了“我的渣”,所以以后我在博客中就以此自居了!),最近在学习Peter Harrington的Machine Learning in Action,一边看书一边用Python3.6实现课本中的算法(原书中使用的是Python2.x)。好记性不如烂笔头,奈何本渣渣连烂笔头都买不起,所以就来这不费笔墨的地方费尽心思写博客。本渣渣记性不是一般的差,在此记下每个算法的学习要点及Python代码实现,一方面方便自己以后复习,另一方面贴出来和大家一起学习,共同进步~~~注意:python3.x与python2.x的部分函数库有较大差异,针对这个问题,本渣渣会将代码版本升级中遇到的问题在每篇博文的最后列出来,并加以解释说明,帮助大家区分理解。
原著代码(python2.x)地址:https://www.manning.com/books/machine-learning-in-action
本渣渣代码(python3.x)地址:https://github.com/WordZzzz/ML/tree/master/Ch02
博客中的代码都会在本渣渣的GitHub上贴出,欢迎Watch、Star、Fork。
一、算法介绍:
k-近邻算法(kNN)的工作原理是:存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据所属分类的对应关系。输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似数据(最近邻)的分类标签。一般来说,我们只选择样本数据集中前k个最相似的数据,这就是k-近邻算法的中k的出处,通常k是不大于20的整数。最后,选择k个最相似数据中出现次数最多的分类,作为新数据的分类。 简单的说,k-近邻算法采用测量不同特征值之间的距离方法进行分类。
k-近邻算法:
优点:精度高、对异常值不敏感、无数据输入假定。缺点:计算复杂度高、空间复杂度高。
使用数据范围:数值型和标称型。
书上有个电影分类的例子,使用k-近邻算法分类爱情片和工作片。书中给出了6部电影的打斗镜头数和接吻镜头数,如图2-1所示。
假如有一部未看过的电影,如何确定它是爱情片还是动作片呢?下面我们将使用kNN来解决这个问题。
首先,我们需要数据,即这个未知电影存在多少个打斗镜头和接吻镜头,图2-1中间问号位置是该电影出现的镜头数图像化的结果,具体数字参见表2-1。
电影名称 | 打斗镜头 | 接吻镜头 | 电影类型 |
---|---|---|---|
California Man | 3 | 104 | 爱情片 |
He is Not Really into Dudes | 2 | 100 | 爱情片 |
Beautiful Woman | 1 | 81 | 爱情片 |
Kevin Longblade | 101 | 10 | 动作片 |
Robo Slayer 3000 | 99 | 5 | 动作片 |
Amped Ⅱ | 98 | 2 | 动作片 |
? | 18 | 90 | 未知型 |
计算未知电影和样本集中其他电影的距离,如表2-2所示。我们暂且不关心如何计算得到这些距离值,后面会提供具体的计算方法。
电影名称 | 与未知电影的距离 |
---|---|
California Man | 20.5 |
He is Not Really into Dudes | 18.7 |
Beautiful Woman | 19.2 |
Kevin Longblade | 115.3 |
Robo Slayer 3000 | 117.4 |
Amped Ⅱ | 9118.9 |
现在我们得到了样本集中所有电影与未知电影的距离,按照距离递增排序,可以找到k个距离最近的电影。假定
k = 3,则三个最靠近的电影依次是He is Not Really into Dudes、Beautiful Woman、California
Man。k-近邻算法按照距离最近的三部电影的类型,决定位置电影的类型,而这三部电影全是爱情片,所以我们判定未知电影为爱情片。
一般流程:
收集数据:可以使用任何方法。准备数据:距离计算所需要的数值,最好是结构化的数据格式。
分析数据:可以使用任何方法。
训练算法:此步骤不适用于k-近邻算法。
测试算法:计算错误率。
使用算法:首先需要输入样本数据和结构化的输出结果,然后运行k-近邻算法判定输入数据分别属于哪个分类,最后应用对计算出的分类执行后续处理。
二、代码实现与详解:
首先,创建名为kNN.py的Python模块。所有代码都已做出详细注释,所以不再赘述,如有疑问可以在下方评论哦~2.1 创建数据集和标签:
代码实现:
# -*- coding: UTF-8 -*- """ Created on Aug 18, 2017 kNN: k Nearest Neighbors Input: inX: vector to compare to existing dataset (1xN) dataSet: size m data set of known vectors (NxM) labels: data set labels (1xM vector) k: number of neighbors to use for comparison (should be an odd number) Output: the most popular class label @author: wor 1737f dzzzz """ from numpy import * import operator def createDataSet(): """ Function: 创建数据集和标签 Args: 无 Returns: group:创建的数据集 labels:创建的标签 """ #创建数据集 group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]]) #创建标签 labels = ['A', 'A', 'B', 'B'] #返回创建的数据集和标签 return group, labels1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
保存编写好的kNN.py模块,在Windows下打开命令提示符。如果不想在终端通过命令行一步一步敲到当前目录,可以直接在当前文件夹按住shift+右键,这个时候便会出现命令提示符的选项,单击后终端内直接显示当前文件夹。然后输入python,进入python编译开发环境。
输出结果:
>>> import kNN >>> group,labels = kNN.createDataSet() >>> group array([[ 1. , 1.1], [ 1. , 1. ], [ 0. , 0. ], [ 0. , 0.1]]) >>> labels ['A', 'A', 'B', 'B']1
2
3
4
5
6
7
8
9
向量labels包含了每个数据点的标签信息,labels包含的元素个数等于group矩阵行数。这里我们将数据点(1, 1.1)定义为类A,数据点(0, 0.1)定义为类B。为了说明方便,例子中的数值是任意选择的,并没有给出轴标签,图2-2是带有标签信息的四个数据点。
2.2 实施kNN分类算法:
伪代码:
对未知类别属性的数据集中的每个点依次执行以下操作:
(1).计算已知类别数据集中的点与当前点之间的距离;
(2).按照距离递增次序排序;
(3).选取与当前点距离最小的k个点;
(4).确定前k个点所在类别的出现频率;
(5).返回前k个点出现频率最高的类别作为当前点的预测分类。
这里我们使用欧氏距离公式,计算两个向量点xA和xB之间的距离:
d=(xA0−xB0)2+(xA1−xB1)2−−−−−−−−−−−−−−−−−−−−−−−√
如果特征值有多个,那公式就变成了这个样子:
d=∑i=0N(xAi−xBi)2−−−−−−−−−−−−−⎷
代码实现:
def classify0(inX, dataSet, labels, k): """ Function: 创建数据集和标签 Args: inX:用于分类的输入向量 (1xN) dataSet:输入的训练样本集 (NxM) labels:标签向量 (1xM vector) k:用于比较的近邻数量 (should be an odd number) Returns: sortedClassCount[0][0]:分类结果 """ #dataSet.shape[0]:求dataSet矩阵的行数 #dataSet.shape[1]:求dataSet矩阵的列数 #dataSet.shape:元组形式输出矩阵行数、列数 dataSetSize = dataSet.shape[0] #tile(A, B):将A重复B次,其中B可以是int类型也可以是元组类型 #这句话相当于向量inX与矩阵dataSet里面的每组数据做差 diffMat = tile(inX, (dataSetSize, 1)) - dataSet #对求差后的矩阵求平方 sqDiffMat = diffMat**2 #sqDiffMat.sum(axis=0):对矩阵的每一列求和 #sqDiffMat.sum(axis=1):对矩阵的每一行求和 #sqDiffMat.sum():对整个矩阵求和 sqDistances = sqDiffMat.sum(axis=1) #求平方根 distances = sqDistances**0.5 #对上式结果进行排序 sortedDistIndicies = distances.argsort() #创建字典 classCount = {} #给字典赋值 for i in range(k): #字典的key voteIlabel = labels[sortedDistIndicies[i]] #classCount.get(voteIlabel,0):如果字典键的值中有voteIlabel,则返回0(第二个参数的值) classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1 #对classCount进行排序,sroted、items以及itermgetter随后讲解@1 sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True) #返回分类结果 return sortedClassCount[0][0]1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
保存编写好的kNN.py模块,此时如果你不重新加载模块,你的命令提示符里面已经加载过的模块是不会自动更新的。所以我们需要调用imp模块中的reload来重新加载新保存的模块。我们输入两个不同的例子[0.9, 0.9][0.1, 0.1],得到相应的分类结果并输出。
输出结果:
>>> from imp import reload >>> reload(kNN) >>> kNN.classify0([0.9,0.9], group, labels, 3) 'A' >>> kNN.classify0([0.1,0.1], group, labels, 3) 'B'1
2
3
4
5
6
7
三、主要区分函数:
详解: 1.sorted,sort以及argsort:
http://blog.csdn.net/u011475210/article/details/77769245
http://blog.csdn.net/u011475210/article/details/77770751
2.items等:
http://blog.csdn.net/u011475210/article/details/77770145
3.itemgetter等:
http://blog.csdn.net/u011475210/article/details/77770772
系列教程持续发布中,欢迎订阅、关注、收藏、评论、点赞哦~~( ̄▽ ̄~)~
完的汪(∪。∪)。。。zzz
相关文章推荐
- Python3:《机器学习实战》之k近邻算法(1)算法概述
- Python3:《机器学习实战》之Logistic回归(1)算法概述
- Python3:《机器学习实战》之Logistic回归(1)算法概述
- Python3:《机器学习实战》之支持向量机(1)算法概述
- Python3:《机器学习实战》之决策树算法(1)算法概述
- Python3:《机器学习实战》之朴素贝叶斯(1)算法概述
- Python3:《机器学习实战》之AdaBoost算法(1)算法概述
- Python3:《机器学习实战》之朴素贝叶斯(1)算法概述
- 【python】机器学习实战KNN算法之约会网站
- Python3:《机器学习实战》之k近邻算法(3)识别手写数字
- 机器学习实战(第二篇)-k-近邻算法Python实现
- 《机器学习实战》k-近邻算法概述-程序清单详解kNN.py(未完待续)
- 《机器学习实战》——k-近邻算法Python实现问题记录
- python3.5《机器学习实战》学习笔记(三):k近邻算法scikit-learn实战手写体识别
- python3.5《机器学习实战》学习笔记(一):k近邻算法
- 《机器学习实战》基于朴素贝叶斯分类算法构建文本分类器的Python实现
- Python《机器学习实战》读书笔记(二)——k-近邻算法
- 【python】机器学习实战KNN算法之手写数字识别
- 《机器学习实战》使用Apriori算法和FP-growth算法进行关联分析(Python版)
- 《机器学习实战》——k-近邻算法Python实现问题记录(转载)