机器学习——K近邻算法(KNN)
2016-03-08 20:25
295 查看
K近邻算法的原理:存在一个样本集合,其中包括样本和其对应的标签,计算新数据的标签与各个样本标签的相似度,选择最相似的K(一般不大于20)个标签类别,标签类别出现次数最多的标签就是新数据的标签。
下面用一个简单的例子介绍一下KNN算法。
1.准备数据
创建了5个点,标签分别如labels中所示。
2.KNN算法步骤
a、计算新数据与样本数据之间的距离,即高中知识中的求两点之间的距离;
b、按照递增顺序排序;
c、计算前K个点所在类别出现的频率;
3、下面给出完整的python代码,
下面用一个简单的例子介绍一下KNN算法。
1.准备数据
from numpy import * import operator group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1],[2,1]]) labels = ['A','A','B','B','A']
创建了5个点,标签分别如labels中所示。
2.KNN算法步骤
a、计算新数据与样本数据之间的距离,即高中知识中的求两点之间的距离;
def classify0(inX, dataSet, labels, k):#inX表示当前点的坐标,dataSet表示数据集矩阵,labels表示标签。 dataSetSize = dataSet.shape[0]#获得数据集矩阵的行数 diffMat = tile(inX, (dataSetSize,1)) - dataSet#将当前点坐标复制dataSetSize次,分别减去样本点坐标,获得当前点与各个点的差 sqDiffMat = diffMat**2 #平方
sqDistances = sqDiffMat.sum(axis=1)#横纵坐标差的平方的和 distances = sqDistances**0.5#开方,得到两点之间的距离
b、按照递增顺序排序;
sortedDistIndicies = distances.argsort()
c、计算前K个点所在类别出现的频率;
classCount={}#类别出现的次数 for i in range(k): voteIlabel = labels[sortedDistIndicies[i]]#按排序依次获得前K个标签 classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1#标签计数 sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)#获得出现次数最多的标签 print sortedClassCount[0][0]
3、下面给出完整的python代码,
from numpy import * import operator group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1],[2,1]]) labels = ['A','A','B','B','A']def classify0(inX, dataSet, labels, k):
dataSetSize = dataSet.shape[0]
diffMat = tile(inX, (dataSetSize,1)) - dataSet
sqDiffMat = diffMat**2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances**0.5
print distances
sortedDistIndicies = distances.argsort()
print sortedDistIndicies
classCount={}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
print sortedClassCount[0][0]
classify0([0,0], group, labels, 3)#预测(0,0)这个点应该属于的标签
相关文章推荐
- 独立看门狗
- RabbitMQ集群环境搭建-4
- R语言绘图002-页面布局
- PAT1005-The Largest Generation
- try/catch/finally详解+示例
- 剑指offer——面试题9计算斐波纳切第n个数
- 剑指offer——面试题9计算斐波纳切第n个数
- Android Fragment 真正的完全解析(下)
- git使用详细介绍
- 编写一个stm32 svc关中断函数
- Windows 下java环境变量的配置(Windows7 ,8,8.1,10)
- 个人项目—数组求和
- python中有关矩阵的创建、求逆、转置
- 关于使用Java的事情
- HDU杭电 1027 Ignatius and the Princess II
- 移动设备自定义面板切换
- jq延迟的使用
- JAVA 字符流与字节流的区别
- linux 文件描述符的一些底层实现
- Java序列化