机器学习算法之最近邻规则分类KNN(K Nearest Neighbor)
2018-01-13 15:14
537 查看
KNN是一种分类算法,其输入是基于实例的学习(instance-based learning), 即是懒惰学习(lazy learning)
算法步骤
1、为了判断未知实例的类别,以所有已知类别的实例作为参照
2、选择参数K
3、计算未知实例与所有已知实例的距离
4、选择最近K个已知实例
5、根据少数服从多数的投票法则(majority-voting),让未知实例归类为K个最邻近样本中最多数的类别
K的距离的衡量方法
欧几里得度量
其他距离衡量
余弦值(cos),
相关度 (correlation)
曼哈顿距离
示例
算法优点
简单
易于理解
容易实现
通过对K的选择可具备丢噪音数据的健壮性
算法缺点
需要大量空间储存所有已知实
算法复杂度高(需要比较所有已知实例与要分类的实例)
当其样本分布不平衡时,比如其中一类样本过大(实例数量过多)占主导的时候,新的未知实例容易被归类为这个主导样本,因为这类样本实例的数量过大,但这个新的未知实例实际并木接近目标样本
改进版本
考虑距离
根据距离加上权重,比如: 1/d (d: 距离)
代码实现
采用库中已有的数据集
采用现有数据集
算法步骤
1、为了判断未知实例的类别,以所有已知类别的实例作为参照
2、选择参数K
3、计算未知实例与所有已知实例的距离
4、选择最近K个已知实例
5、根据少数服从多数的投票法则(majority-voting),让未知实例归类为K个最邻近样本中最多数的类别
K的距离的衡量方法
欧几里得度量
其他距离衡量
余弦值(cos),
相关度 (correlation)
曼哈顿距离
示例
算法优点
简单
易于理解
容易实现
通过对K的选择可具备丢噪音数据的健壮性
算法缺点
需要大量空间储存所有已知实
算法复杂度高(需要比较所有已知实例与要分类的实例)
当其样本分布不平衡时,比如其中一类样本过大(实例数量过多)占主导的时候,新的未知实例容易被归类为这个主导样本,因为这类样本实例的数量过大,但这个新的未知实例实际并木接近目标样本
改进版本
考虑距离
根据距离加上权重,比如: 1/d (d: 距离)
代码实现
采用库中已有的数据集
from sklearn import neighbors from sklearn import datasets #调用内库knn算法 knn = neighbors.KNeighborsClassifier() #获取 库中的数据 iris = datasets.load_iris() print (iris) #通过训练集建立模型 knn.fit(iris.data, iris.target) #预测 predictedLabel = knn.predict([[0.1, 0.2, 0.3, 0.4]]) print (predictedLabel)
采用现有数据集
import csv import random import math import operator #对数据集进行分割,以spilt(<1)比例划分,一部分为训练集,一部分为测试集 def loadDataset(filename, split, trainingSet = [], testSet = []): with open(filename, 'rt') as csvfile: lines = csv.reader(csvfile) dataset = list(lines) for x in range(len(dataset)-1): for y in range(4): dataset[x][y] = float(dataset[x][y]) if random.random() < split: trainingSet.append(dataset[x]) else: testSet.append(dataset[x]) #欧几里得度量计算 两点距离 def euclideanDistance(instance1, instance2, length): distance = 0 for x in range(length): distance += pow((instance1[x]-instance2[x]), 2) return math.sqrt(distance) #根据预测点,得到邻近的K个数据 def getNeighbors(trainingSet, testInstance, k): distances = [] length = len(testInstance)-1 for x in range(len(trainingSet)): #testinstance dist = euclideanDistance(testInstance, trainingSet[x], length) distances.append((trainingSet[x], dist)) #distances.append(dist) distances.sort(key=operator.itemgetter(1)) neighbors = [] for x in range(k): neighbors.append(distances[x][0]) return neighbors #根据邻近的K个数据 确定预测点属于那个类别 def getResponse(neighbors): classVotes = {} for x in range(len(neighbors)): response = neighbors[x][-1] if response in classVotes: classVotes[response] += 1 else: classVotes[response] = 1 sortedVotes = sorted(classVotes.items(), key=operator.itemgetter(1), reverse=True) print ('sortedVotes:') print(sortedVotes) return sortedVotes[0][0] #通过测试集数据计算 最终测试成功的比率 def getAccuracy(testSet, predictions): correct = 0 for x in range(len(testSet)): if testSet[x][-1] == predictions[x]: correct += 1 return (correct/float(len(testSet)))*100.0 def main(): #prepare data trainingSet = [] testSet = [] split = 0.67 loadDataset(r'E:\study\Machine Learning\code\case\Nearest Neighbor\irisdata.txt', split, trainingSet, testSet) print ('Train set: ' + repr(len(trainingSet))) print ('Test set: ' + repr(len(testSet))) #generate predictions predictions = [] k = 3 for x in range(len(testSet)): # trainingsettrainingSet[x] neighbors = getNeighbors(trainingSet, testSet[x], k) result = getResponse(neighbors) predictions.append(result) print ('>predicted=' + repr(result) + ', actual=' + repr(testSet[x][-1])) print ('predictions: ' + repr(predictions)) accuracy = getAccuracy(testSet, predictions) print('Accuracy: ' + repr(accuracy) + '%') if __name__ == '__main__': main()
相关文章推荐
- 机器学习之K-最近邻规则分类(KNN)算法
- 在opencv3中实现机器学习算法之:利用最近邻算法(knn)实现手写数字分类
- 在OpenCV3中实现机器学习算法之:利用最近邻算法(knn)实现手写数字分类
- 02--机器学习之最近邻规则分类(KNN)
- 机器学习算法:kNN(K-Nearest Neighbor)最邻近规则分类
- 4.1 最近邻规则分类算法(KNN)
- 4.2 最近邻规则分类算法(KNN)应用
- kNN(K-Nearest Neighbor)最近的分类规则
- KNN(K-Nearest Neighbor)最邻近规则分类
- Peter Harrington, Machine learning, note,K最近邻(k-Nearest Neighbor,KNN)分类算法
- kNN(K-Nearest Neighbor)最邻近规则分类
- 关于K最近邻分类算法(KNN)的综述
- kNN(K-Nearest Neighbor)最邻近规则分类
- kNN(K-Nearest Neighbor)最邻近规则分类
- kNN(K-Nearest Neighbor)最邻近规则分类
- 机器学习第二个算法KNN(最邻近规则分类KNN算法)
- kNN(K-Nearest Neighbor)最邻近规则分类(转)
- <基础原理进阶>机器学习算法python实现【1】--分类简谈&KNN算法
- K最近邻分类算法(KNN)
- KNN(邻近规则分类)算法