K-Means 算法

K-Means算法是一种聚类算法。聚类是一种无监督的学习，是将相似的对象归于同一簇中。无监督是指不提供类别信息和给定目标值，并且无需训练数据。而聚（clustering）与分类（Classification）不同，分类是已经有类别，比如电影的类别，喜剧片、爱情片，已经有类别，是将提供的数据划分到已有的类别中，而聚类是没有定义好的类别，聚类方法几乎可以应用于所有对象，簇中的对象越相似，聚类的效果越好。而之所以叫K-Means算法是因为它可以发现k个不同的簇。

总而言之，K-Means算法是一种聚类分析的算法，其主要是来计算数据聚集的算法。

一、算法原理

1）创建k个点作为起始点，通常是随机选取。

2）计算其他点到k个种子点的距离，将这些点分配到距离最近的簇。

3）根据聚类结果，重新计算k个簇的中心，通常是计算簇中所有点的均值并将均值作为中心。

4）重复2、3步，直至聚类结果无改变

5）输出结果

二、算法实现（Python）

1、计算两个数据点之间的距离，这里使用最常用的欧式距离

def distEclud(vecA, vecB):
""" 计算两个向量的欧式距离
Args:
vecA: 向量A
vecB: 向量B
Returns:
向量之间的欧式距离
"""
return sqrt(sum(power(vecA - vecB, 2)))

2、随机选取中心点

def randCent(dataSet, k):
""" 随机选择k个中心
Args:
dataSet: 数据矩阵
k: 中心个数
Returns:
centroids 中心矩阵
"""
n = shape(dataSet)[1]
centroids = mat(zeros((k, n)))
for j in range(n):
minJ = min(dataSet[:, j])
rangeJ = float(max(dataSet[:, j]) - minJ)
centroids[:, j] = minJ + rangeJ * random.rand(k, 1)
return centroids

3、K-means具体算法

def kMeans(dataSet, k, distMeas=distEclud, createCent=randCent):
""" 随机选择k个中心
Args:
dataSet: 数据矩阵
k: 中心个数
distMeas: 向量距离函数
createCent: 选择簇中心函数
Returns:
centroids 中心矩阵
clusterAssment 簇分配结果矩阵,一列分配簇索引值，一列存储误差
"""
m = shape(dataSet)[0]   #数据行数
clusterAssment = mat(zeros((m, 2)))
centroids = createCent(dataSet, k)
cluterChanged = True
while cluterChanged:
cluterChanged = False
for i in range(m):
# 寻找最近的中心
minDist = inf; minIndex = -1
for j in range(k):
distJI = distMeas(centroids[j,:], dataSet[i,:])
if distJI < minDist:
minDist = distJI; minIndex = j
if clusterAssment[i,0] != minIndex:
cluterChanged = True
clusterAssment[i,:] = minIndex, minDist**2
#print(centroids)
# 更改中心的位置
for cent in range(k):
ptsInClust = dataSet[nonzero(clusterAssment[:,0].A == cent)[0]]
centroids[cent,:] = mean(ptsInClust, axis=0)
return centroids, clusterAssment

　4、载入数据集

def loadDataSet(filename):
""" 载入数据集
Args:
filename: 输入文档
Returns:
mat(dataList) 数据矩阵
"""
dataList = []
fr = open(filename)
for line in fr.readlines():
curLine = line.strip().split('\t')
fltLine = [float(i) for i in curLine]
dataList.append(fltLine)
return mat(dataList)