机器学习之K-近邻算法
2017-07-17 21:46
239 查看
机器学习之K-近邻算法
用电影的例子进行引言,我们现在的电影网站上电影都是分类了的。比如按题材进行分类,什么动作片,恐怖片,爱情片扥等。然而这个题材是怎么定义的呢,怎么判断某部电影属于这个题材呢。以单纯的动作片和爱情片进行示例说明,我们经验知道动作片打头场景居多,而爱情片接吻戏居多。这样我们就可以粗略的根据一部电影中打斗次数,接吻次数出现的比率来判断某部电影是属于动作片还是爱情片。 此节介绍的非常简单的机器学习算法:K-近邻算法。
k-近邻算法概述
简单的说,k-近邻算法是采用测量不同特征之间的距离方法进行分类。是著名的模式识别统计学方法。正如名字所示,算法的精确度主要和K值相关。举个例子:
如上图,绿色圆要被决定赋予哪个类,是红色三角形还是蓝色四方形?如果K=3,由于红色三角形所占比例为2/3,绿色圆将被赋予红色三角形那个类,如果K=5,由于蓝色四方形比例为3/5,因此绿色圆被赋予蓝色四方形类。
一般流程
(1) 收集数据:(可以使用任何方法)(2) 准备数据:计算所需要的数值之间的距离,最好是结构化的数据格式
(3)数据分析:可以使用任何方法
(4)训练算法:此步骤不适合k-近邻算法
(5)测试算法:计算错误率
(6)使用算法:首先需要输入样本数据和结构化的输出结果,然后运行k-近邻算法判定输入数据分别属于哪个分类。
导入数据
from numpy import* import operator from os import listdir ## 给出训练数据以及对应的类别 def createDataSet(): group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) labels = ['A','A','B','B'] return group,labels
K-NN算法
这里简单解释下,对未知类别属性的数据集中的每个点依次执行以下操作。计算已知类别数据集中的点与当前点之间的距离
按照距离递增次序排序
选取与当前点距离最小的k个点
确定前K个点所在类别的出现频率
返回前k个点出现频率最高的类别作为当前点的预测分类
## K-近邻算法 ## inX为需要分类的目标向量; ## dataSet 为数据集 ## labels 数据中对应的标签 ## k 选择的最近邻的数目 def classify0(inX, dataSet, labels, k): dataSize = dataSet.shape[0] ### 计算欧式距离 diffMat = tile(inX,(dataSize,1)) - dataSet sqDiffMat = diffMat**2 sqDistances = sqDiffMat.sum(axis = 1) ##行向量分别相加,得到新行向量 distances = sqDistances**0.5 ##对距离排序 返回下标 sortedDistIndicies = argsort(distances) classCount={} for i in range(k): voteILabel = labels[sortedDistIndicies[i]] # 对选取的K个的样本属性的类别进行统计 classCount[voteILabel] = classCount.get(voteILabel,0) + 1 ## 选取出现的类别次数最多的类别 maxCount = 0 for key,value in classCount.items(): if value > maxCount: maxCount = value classes = key return classes
相关文章推荐
- 机器学习之K-近邻算法代码分析
- 机器学习之k-近邻(kNN)算法与Python实现
- 机器学习之K-近邻算法
- 机器学习之K-近邻算法(Python描述)基础
- 机器学习之K-近邻算法
- 机器学习之k-近邻算法
- 机器学习之K-近邻算法代码实现
- 机器学习之K-近邻算法(Python描述)实战百维万组数据
- 机器学习之K-近邻算法
- 机器学习之K-近邻算法
- K-近邻算法:KNN
- k-近邻算法
- k-近邻算法的简单Java版本
- k-近邻算法(kNN)
- K-近邻算法(一)
- 《机器学习实战》第二章:k-近邻算法(2)约会对象分类
- k-近邻算法
- 机器学习实战(Part1_lecture2)K-近邻算法
- 【python实战】k-近邻算法(1)
- k-近邻算法