人工智障学习笔记——机器学习(8)K均值聚类

一.概念

K均值聚类(K-means)是硬聚类算法，是典型的基于原型的目标函数聚类方法的代表，它是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。K-means算法以欧式距离作为相似度测度，它是求对应某一初始聚类中心向量V最优分类，使得评价指标J最小。算法采用误差平方和准则函数作为聚类准则函数。

二.算法

1）从数据中随机选取K组数据作为质心centroids

2）对剩余的数据依次计算其到每个质心的距离，并把它归到最近的质心的类

3）重新计算已经得到的各个类的质心

4）迭代2～3步直至新的质心与原质心相等或小于指定阈值，算法结束

三.实现

# -*- coding: utf-8 -*-
from numpy import *
import time
import matplotlib.pyplot as plt

#随机200个坐标点 (-10~10)
def getdataSet():
dataSet=mat(zeros((100, 2)))
numSamples = dataSet.shape[0]
offset=[[-10,-10],[-10,10],[10,-10],[10,10]]#分类
for i in range(numSamples):
dataSet[i] =random.uniform(-5,5)+offset[i%4][0],random.uniform(-5,5)+offset[i%4][1]#偏移

return dataSet

# 欧式距离
def euclDistance(vector1, vector2):
return sqrt(sum(power(vector2 - vector1, 2)))

# 总误差
def getcost(clusterAssment):
len = clusterAssment.shape[0]
Sum = 0.0
for i in range(len):
Sum = Sum + clusterAssment[i, 1]
return Sum

# 用随机样本初始化centroids
def initCentroids(dataSet, k):
numSamples, dim = dataSet.shape
centroids = zeros((k + 1, dim))
s = set()
for i in range(1, k + 1):
while True:
index = int(random.uniform(0, numSamples))
#随机数去重
if index not in s:
s.add(index)
break
centroids[i, :] = dataSet[index, :]
return centroids

# k-means主算法
def kmeans(dataSet, k):
numSamples = dataSet.shape[0]

# 第一列存这个样本点属于哪个簇
# 第二列存这个样本点和样本中心的误差
clusterAssment = mat(zeros((numSamples, 2)))
for i in range(numSamples):
clusterAssment[i, 0] = -1
clusterChanged = True

# step 1: 初始化centroids
cen
4000
troids = initCentroids(dataSet, k)

# 如果收敛完毕，则clusterChanged为False
while clusterChanged:
clusterChanged = False
# 对于每个样本点
for i in range(numSamples):
minDist = 0xfffff
minIndex = 0
# 对于每个样本中心
# step 2: 找到最近的样本中心
for j in range(1, k + 1):
distance = euclDistance(centroids[j, :], dataSet[i, :])
if distance < minDist:
minDist = distance
minIndex = j

# step 3: 更新样本点与中心点的分配关系
if clusterAssment[i, 0] != minIndex:
clusterChanged = True
clusterAssment[i, :] = minIndex, minDist
else:
clusterAssment[i, 1] = minDist

# step 4: 更新样本中心
for j in range(1, k + 1):
pointsInCluster = dataSet[nonzero(clusterAssment[:, 0].A == j)[0]]
centroids[j, :] = mean(pointsInCluster, axis=0)
return centroids, clusterAssment

x=[1, 2, 3, 4, 5, 6, 7, 8]
y=[0, 0, 0, 0, 0, 0, 0, 0]

dataSet =getdataSet()
print(dataSet)

plt.figure('k-means',figsize=(12, 6))
for index in range(8):
k = x[index]
centroids, clusterAssment = kmeans(dataSet, k)
#print(clusterAssment)
y[index]=getcost(clusterAssment)
print("x: ",k," y: ",y[index])
plt.subplot(2, 4, index+1,facecolor=(0.5,0.5,0.5))
numSamples, dim = dataSet.shape
mark = ['or', 'og', 'ob', 'oc', 'om', 'oy', 'ok', 'ow']
for i in range(numSamples):
markIndex = int(clusterAssment[i, 0])
plt.plot(dataSet[i, 0], dataSet[i, 1], mark[markIndex-1])
mark = ['*r', '*g', '*b', '*c', '*m', '*y', '*k', '*w']
for i in range(1,k+1):
plt.plot(centroids[i, 0], centroids[i, 1], mark[i-1], markersize = 12)
plt.subplots_adjust(wspace=0.4, hspace=0.4)
plt.xticks(fontsize=10, color="darkorange")
plt.yticks(fontsize=10, color="darkorange")
plt.title(index+1)
plt.figure('K enum',figsize=(6, 3))
plt.plot(x, y, "b--", linewidth=2)
plt.show()

这里在getdataSet随机数据点中加入了偏移量影响，可以看出数据分布大概在四角方向，显然K=4效果应最好。

通过程序输出的不同K值误差（clusterAssment）总和也可以看出，当K>4后分类的增多确实已经不会再对误差产生太大的优化了，反而看起来乱乱的。

故合理的确定K值对于聚类效果的好坏有很大的影响。

四.K-Means ++ 算法

除了要确定K值外，Kmeans需要人为地确定初始聚类中心，不同的初始聚类中心可能导致完全不同的聚类结果。故而衍生了 k-means++算法。

 k-means++算法选择初始聚类中心的基本思想就是：初始的聚类中心之间的相互距离要尽可能的远。

1.从输入的数据点集合中随机选择一个点作为第一个聚类中心

2.对于数据集中的每一个点x，计算它与最近聚类中心(指已选择的聚类中心)的距离D(x)

3.选择一个新的数据点作为新的聚类中心，选择的原则是：D(x)较大的点，被选取作为聚类中心的概率较大

4.重复2和3直到k个聚类中心被选出来

利用这k个初始的聚类中心来运行标准的k-means算法

从上面的算法描述上可以看到，算法的关键是第3步，如何将D(x)反映到点被选择的概率上，一种算法如下：

先从我们的数据库随机挑个随机点当“种子点”

对于每个点，我们都计算其和最近的一个“种子点”的距离D(x)并保存在一个数组里，然后把这些距离加起来得到Sum(D(x))。

然后，再取一个随机值，用权重的方式来取计算下一个“种子点”。这个算法的实现是，先取一个能落在Sum(D(x))中的随机值Random，然后用Random -= D(x)，直到其<=0，此时的点就是下一个“种子点”。

重复2和3直到k个聚类中心被选出来

利用这k个初始的聚类中心来运行标准的k-means算法

可以看到算法的第三步选取新中心的方法，这样就能保证距离D(x)较大的点，会被选出来作为聚类中心了。

代码可以参考http://rosettacode.org/wiki/K-means%2B%2B_clustering

五.总结

 k-means算法比较简单，和之前说过的K近邻算法(KNN)http://blog.csdn.net/sm9sun/article/details/78521927有些类似，本质上都是给定一个点，然后在数据集中找邻近的点。但又有些区别：

首先KNN是分类算法，而K-means是聚类算法，KNN是监督学习，而K-means是非监督学习。也就是说，KNN拿到的数据集是已经是有分类的数据了，而K-means拿到的数据是无分类的，经过聚类后才有了类的标志。且K的定义也完全不一样，K-means的K值是需要提前指定的，通过上述代码也可以看出，K的选取至关重要。但在实际中这个 K 值的选定是非常难以估计的，很多时候，事先并不知道给定的数据集应该分成多少个类别才最合适。且K-means应用局限性非常大，聚类的算法公式还需实际情况而变。

六.相关学习资源

http://blog.csdn.net/loadstar_kun/article/details/39450615

http://blog.csdn.net/eventqueue/article/details/73133617

http://blog.csdn.net/zouxy09/article/details/17589329