Fuzzy c-means (FCM)聚类算法
2016-12-26 22:20
225 查看
原理
允许同一数据属于多个不同的类。该算法(developed by Dunn in 1973 and improved
by Bezdek in 1981)经常用于模式识别,基于最小化
下列目标函数:
,
其中, m 是大于1的实数,uij 是xi 属于类别 j隶属度, xi 第i个测量到的d维数据, cj 是类j的聚类中心,||*||
表示任一测量数据与聚类
中心的相似度。
Fuzzy partitioning is 通过下列两式的更新迭代来使得上述目标函数达到极小:
,
当
,时迭代停止,0<
<1是迭代终止参数,k是迭代轮数。该过程收敛到Jm的一个极小值。
算法由下列步骤组成:
说明
如前所述,数据属于某个类是由隶属度函数确定的,这正是该算法的模糊行为的体现。在该算法中用一个由0和1之间元素组成的矩阵表达
对象与类别的隶属关系。
举一个一维的例子来说,给定一个特定数据集,分布如下图:
从图中可以很容易分辨出两类数据,分别表示为‘A’ and ‘B’. 利用前述的k-means 算法,每个数据关联一个特定的质心,隶属度函数
如下所示:
利用FCM 算法,同一个数据并不单独属于一个分类,而是可以出现在中间。在这个例子中,隶属函数变得更加平滑,表明每个数据
可能属于几个分类。
上图中,红色点表示的数据更可能属于类别B,而不是A, ‘m’ 的值0.2表明了数据对A的隶属程度。现在,不用图表示,我们引入
一个矩阵,其元素取自隶属函数:
(a) (b)
矩阵的行数和列数取决于数据和类别的个数,确切的说,行数表示数据个数,列数表示类别个数,矩阵元素表示为 uij.
上面的例子中,我们考虑了k-means (a) and FCM (b) 的例子,可以看出在第一个例子(a) 中的稀疏总是二值,表明每个数据只能属于一个
分类,其他属性表示如下:
参考文献
J. C. Dunn (1973): "A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact
Well-Separated Clusters",
[align=justify]Journal of Cybernetics 3: 32-57[/align]
J. C. Bezdek (1981): "Pattern Recognition with Fuzzy Objective Function Algoritms", Plenum
Press, New York
[align=justify]Tariq Rashid: “Clustering”
http://www.cs.bris.ac.uk/home/tr1690/documentation/fuzzy_clustering_initial_report/node11.html[/align]
[align=justify]Hans-Joachim Mucha and Hizir Sofyan: “Nonhierarchical Clustering”
http://www.quantlet.com/mdstat/scripts/xag/html/xaghtmlframe149.html[/align]
允许同一数据属于多个不同的类。该算法(developed by Dunn in 1973 and improved
by Bezdek in 1981)经常用于模式识别,基于最小化
下列目标函数:
,
其中, m 是大于1的实数,uij 是xi 属于类别 j隶属度, xi 第i个测量到的d维数据, cj 是类j的聚类中心,||*||
表示任一测量数据与聚类
中心的相似度。
Fuzzy partitioning is 通过下列两式的更新迭代来使得上述目标函数达到极小:
,
当
,时迭代停止,0<
<1是迭代终止参数,k是迭代轮数。该过程收敛到Jm的一个极小值。
算法由下列步骤组成:
初始化隶属度矩阵U=[uij] , U(0) 第k轮迭代: 计算中心向量 C(k)=[cj] with U(k) 更新隶属度矩阵 U(k) , U(k+1) If || U(k+1) - U(k)||< then STOP; otherwise return to step 2. |
如前所述,数据属于某个类是由隶属度函数确定的,这正是该算法的模糊行为的体现。在该算法中用一个由0和1之间元素组成的矩阵表达
对象与类别的隶属关系。
举一个一维的例子来说,给定一个特定数据集,分布如下图:
从图中可以很容易分辨出两类数据,分别表示为‘A’ and ‘B’. 利用前述的k-means 算法,每个数据关联一个特定的质心,隶属度函数
如下所示:
利用FCM 算法,同一个数据并不单独属于一个分类,而是可以出现在中间。在这个例子中,隶属函数变得更加平滑,表明每个数据
可能属于几个分类。
上图中,红色点表示的数据更可能属于类别B,而不是A, ‘m’ 的值0.2表明了数据对A的隶属程度。现在,不用图表示,我们引入
一个矩阵,其元素取自隶属函数:
(a) (b)
矩阵的行数和列数取决于数据和类别的个数,确切的说,行数表示数据个数,列数表示类别个数,矩阵元素表示为 uij.
上面的例子中,我们考虑了k-means (a) and FCM (b) 的例子,可以看出在第一个例子(a) 中的稀疏总是二值,表明每个数据只能属于一个
分类,其他属性表示如下:
参考文献
J. C. Dunn (1973): "A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact
Well-Separated Clusters",
[align=justify]Journal of Cybernetics 3: 32-57[/align]
J. C. Bezdek (1981): "Pattern Recognition with Fuzzy Objective Function Algoritms", Plenum
Press, New York
[align=justify]Tariq Rashid: “Clustering”
http://www.cs.bris.ac.uk/home/tr1690/documentation/fuzzy_clustering_initial_report/node11.html[/align]
[align=justify]Hans-Joachim Mucha and Hizir Sofyan: “Nonhierarchical Clustering”
http://www.quantlet.com/mdstat/scripts/xag/html/xaghtmlframe149.html[/align]
相关文章推荐
- Fuzzy c-means (FCM)聚类算法
- FCM(Fuzzy C-Means)模糊C聚类
- 机器学习笔记----Fuzzy c-means(FCM)模糊聚类详解及matlab实现
- 聚类算法概述(k-Means++/FCM/凝聚层次聚类/DBSCAN)
- 聚类(三)FUZZY C-MEANS 模糊c-均值聚类算法——本质和逻辑回归类似啊
- python实现 模糊C均值聚类算法(Fuzzy-C-Means)-基于iris数据集
- 聚类算法(K-means + Fuzzy C-means + Hierarchical + Mixture of Gaussians)---第一部分:简介
- 机器学习笔记----Fuzzy c-means(FCM)模糊聚类详解及matlab实现
- FCM(Fuzzy C-Means)模糊C聚类
- 机器学习笔记----Fuzzy c-means(FCM)模糊聚类详解及matlab实现
- mahout 源码解析之聚类--K-Means,FuzzyKMeans
- FuzzyKmeans,mahout实现
- 聚类算法:K-means 算法(k均值算法)
- k-means 聚类算法
- 图像处理之Fuzzy C Means的聚合算法
- 数据挖掘/机器学习算法--直接聚类算法(k-means)
- k-means 聚类算法的缺陷
- k-means 聚类算法的缺陷
- 聚类算法(层级聚类,K-Means)
- Weka -- 聚类算法之K-means