#Paper Reading# Nonnegative Sparse PCA
2016-07-17 00:01
288 查看
论文题目:Nonnegative Sparse PCA
论文地址:http://machinelearning.wustl.edu/mlpapers/paper_files/NIPS2006_415.pdf
论文大体内容:
作者参照NMF(非负矩阵分解)问题,在稀疏PCA问题中加入非负约束,通过实验,发现效果比NMF以及普通的PCA好。
1、加入非负约束的PCA问题如下:
2、拉格朗日展开:
3、加入稀疏性控制:
4、对U矩阵的每个元素分别考虑:
5、求导:
6、使用梯度下降迭代更新U矩阵:
7、实验:
①数据集:使用了MIT CBCL Face Dataset[1],CBCL是由麻省理工学院生物与计算学习中心公开的供科研与学习的数据库,它包含人脸数据集和非人脸数据集两部分,并且分别分为训练集和测试集两部分。其中,人脸训练集有2429幅19*19尺度的灰度图片,测试集有472幅;而非人脸训练集包含4548幅19*19尺度的灰度图片,及测试集有23573张。[2]
②Baseline:GSPCA(Greedy Sparse PCA),NMF,PCA。
③实验方法:PCA后选择Top 10特征,使用线性SVM对人脸以及非人脸图片进行二分类。
④评测标准:ROC曲线
⑤结果:在正交性参数α=5*10^8,稀疏性参数β=2*10^6下,效果比baseline的都好。
8、思考:
无论是PCA,还是NMF,很多时候都是对问题加一些约束(比如正交性约束,非负约束,内部约束等),然后通过实验,都可能发现效果能有所提高,关键的过程是调整参数。本文中参数取得那么大也是第一次见,或者能对自己的实验有所启发。
参考资料:
[1]、http://cbcl.mit.edu/software-datasets/FaceData2.html
[2]、https://github.com/alphawolfxiaoliu/datasets/tree/master/CBCL
以上均为个人见解,因本人水平有限,如发现有所错漏,敬请指出,谢谢!
论文地址:http://machinelearning.wustl.edu/mlpapers/paper_files/NIPS2006_415.pdf
论文大体内容:
作者参照NMF(非负矩阵分解)问题,在稀疏PCA问题中加入非负约束,通过实验,发现效果比NMF以及普通的PCA好。
1、加入非负约束的PCA问题如下:
2、拉格朗日展开:
3、加入稀疏性控制:
4、对U矩阵的每个元素分别考虑:
5、求导:
6、使用梯度下降迭代更新U矩阵:
7、实验:
①数据集:使用了MIT CBCL Face Dataset[1],CBCL是由麻省理工学院生物与计算学习中心公开的供科研与学习的数据库,它包含人脸数据集和非人脸数据集两部分,并且分别分为训练集和测试集两部分。其中,人脸训练集有2429幅19*19尺度的灰度图片,测试集有472幅;而非人脸训练集包含4548幅19*19尺度的灰度图片,及测试集有23573张。[2]
②Baseline:GSPCA(Greedy Sparse PCA),NMF,PCA。
③实验方法:PCA后选择Top 10特征,使用线性SVM对人脸以及非人脸图片进行二分类。
④评测标准:ROC曲线
⑤结果:在正交性参数α=5*10^8,稀疏性参数β=2*10^6下,效果比baseline的都好。
8、思考:
无论是PCA,还是NMF,很多时候都是对问题加一些约束(比如正交性约束,非负约束,内部约束等),然后通过实验,都可能发现效果能有所提高,关键的过程是调整参数。本文中参数取得那么大也是第一次见,或者能对自己的实验有所启发。
参考资料:
[1]、http://cbcl.mit.edu/software-datasets/FaceData2.html
[2]、https://github.com/alphawolfxiaoliu/datasets/tree/master/CBCL
以上均为个人见解,因本人水平有限,如发现有所错漏,敬请指出,谢谢!
相关文章推荐
- 从SVD到PCA——奇妙的数学游戏
- 白化(Whitening):PCA vs. ZCA
- Kernel PCA
- PCA求解思路
- SVD分解的理解
- 主元分析法PCA学习笔记
- pca 主成分分析
- PCA算法人脸识别小结--原理到实现
- 无监督机器学习--Ipython notebook
- SVD与PCA,奇异值分解与主成分分析的比较
- vs2010+opencv调试
- PCA实训报告
- PCA + SVM 人脸识别
- 学习pca的一点小小感悟
- 有关PCA(Principal Component Analysis)主成分分析/主累積寄与率元分析
- SVD奇异值分解
- PCA-sift源码解释
- PCA学习过程
- matlab主成分分析函数princomp简介
- In-network PCA and anomaly detection阅读笔记