从K-means到Sparse Coding
2013-08-26 12:57
411 查看
命题:K-means和SC很像很像。
K-means的可以简单理解为将样本集压缩投影到k个中心点(簇)上,这个k个中心点就相当于“基向量”,K-means的优化目标是:
![](http://ww1.sinaimg.cn/mw600/8fdd1d06jw1e33h5ksw4pj.jpg)
,
V是中心点,X是原始示例。这个公式可以进一步写为:
![](http://ww2.sinaimg.cn/mw600/8fdd1d06jw1e33h5rg8ljj.jpg)
,
Um表示Xm属于哪个中心点Vk。um是一个K维列向量,且只有一个元素为1,其它为0,哪行元素为1就代表属于哪个中心点。
上面这个优化函数对U的要求太高(一个示例只能属于一个簇),对这个条件放宽(一个示例可以属于多个簇,但不能属于太多的簇,就加一个L1正则项),就得到:
![](http://ww4.sinaimg.cn/mw600/8fdd1d06jw1e33h6475tnj.jpg)
这个函数跟Ng讲的sparsecoding是等价的:
![](http://ww4.sinaimg.cn/mw600/8fdd1d06jw1e33h6aghtjj.jpg)
到此,可以看到K-means和sparse coding是如此的像,所以求解步骤也是很像的,K-means本质就是EM过程,即判断一个示例属于哪个中心点,重新更新中心点。
所以看到SC的求解步骤是:
Learning a set of basis vectors using sparse codingconsists of performing two separate optimizations,
the first being an optimization over coefficientsai for each training example
and the second an optimization over basisvectors across many trainingexamples at once.
K-means的可以简单理解为将样本集压缩投影到k个中心点(簇)上,这个k个中心点就相当于“基向量”,K-means的优化目标是:
![](http://ww1.sinaimg.cn/mw600/8fdd1d06jw1e33h5ksw4pj.jpg)
,
V是中心点,X是原始示例。这个公式可以进一步写为:
![](http://ww2.sinaimg.cn/mw600/8fdd1d06jw1e33h5rg8ljj.jpg)
,
Um表示Xm属于哪个中心点Vk。um是一个K维列向量,且只有一个元素为1,其它为0,哪行元素为1就代表属于哪个中心点。
上面这个优化函数对U的要求太高(一个示例只能属于一个簇),对这个条件放宽(一个示例可以属于多个簇,但不能属于太多的簇,就加一个L1正则项),就得到:
![](http://ww4.sinaimg.cn/mw600/8fdd1d06jw1e33h6475tnj.jpg)
这个函数跟Ng讲的sparsecoding是等价的:
![](http://ww4.sinaimg.cn/mw600/8fdd1d06jw1e33h6aghtjj.jpg)
到此,可以看到K-means和sparse coding是如此的像,所以求解步骤也是很像的,K-means本质就是EM过程,即判断一个示例属于哪个中心点,重新更新中心点。
所以看到SC的求解步骤是:
Learning a set of basis vectors using sparse codingconsists of performing two separate optimizations,
the first being an optimization over coefficientsai for each training example
and the second an optimization over basisvectors across many trainingexamples at once.
相关文章推荐
- 聚类、K-Means、例子、细节
- K-means和K-means++算法代码实现(Python)
- 机器学习算法与Python实践之(五)k均值聚类(k-means)
- k-means 聚类算法的缺陷
- k_means
- k-means方法解释和具体实现
- sp_who status means
- simple k means
- 聚类算法之K-MEANS
- K-Means 聚类 sample
- k-means聚类的缺点
- Hadoop k-means 算法实现
- What the “Failed Requests” counter in ARR really means
- 聚类算法——K-means(上)
- 【SAS NOTE】在proc means中根据某变量的范围进行统计+proc format
- 漫谈 Clustering (1): k-means
- 401. The end justifies the means. 只要目标正确,可以不择手段
- 理解sparse coding
- 聚类算法 K-means