机器学习（五）PCA数据降维

PCA数据降维
原文地址：/article/7649349.html
作者：hjimce
一、PCA相关理论
PCA算法又称主成分分析，是一種分析、簡化數據集的技術。主成分分析经常用于减少数据集的维数，同时保持数据集中的对方差贡献最大的特征。PCA的数学定义是：一个正交化线性变换，把数据变换到一个新的坐标系统中，使得这一数据的任何投影的第一大方差在第一个坐标（称为第一主成分）上，第二大方差在第二个坐标（第二主成分）上，依次类推。
PCA不仅仅是对高维数据进行降维，更重要的是经过降维去除了噪声，发现了数据中的模式。PCA把原先的n个特征用数目更少的m个特征取代，新特征是旧特征的线性组合，这些线性组合最大化样本方差，尽量使新的m个特征互不相关。从旧特征到新特征的映射捕获数据中的固有变异性。
二、PCA算法实现
对于PCA数据降维算法一开始经常和SVD奇异分解搞混了，其实这两个可以说扯不上关系，SVD分解是一种矩阵分解的解法，可以用于求取一个非方阵矩阵的特征值和特征向量。下面先从PCA算法流程讲起：

(1)对于给定的二维数据点集P(x,y)，求取这些散乱点的重心坐标


(2)把散乱点的重心坐标平移到原点，同时构造新数据矩阵：



注意上面每个点，需要写成列向量的形式，这样构造的M矩阵是一个2行，n列的矩阵

(3)构造协方差矩阵，协方差矩阵为：



由于M矩阵是

的矩阵，则最后的协方差矩阵为

的矩阵，存在两个特征值和特征向量。

(4)求解A矩阵的特征值，特征向量，那么特征值最大对应的特征向量，为数据点位置方差变化最快的方向，如下图，直线的方向向量即为A矩阵的最大特征向量的方向，而A矩阵的另外一个特征向量，即为垂直于该直线的方向向量。



(5)设求解出的A矩阵的特征向量为

，上图的二维特征向量就是直线的法向量和垂直于该直线的法向量。接着把所有的原来数据点P(x,y)，投影到这些特征向量上，得到对应的系数，其实这一步很简单，只需要把P(x，y)与特征向量点乘，即



即可转换到特征空间的投影坐标B，也就是相当于转换到相对以特征向量为坐标轴方向的相对坐标系下。

那么同理，如果要把数据从相对坐标系转换到世界坐标系下就要用公式：



这就是PCA算法，数据重建的公式。

(6)数据降维，说的简单一点就是丢弃掉一些特征向量，然后进行重建数据，比如所我现在要把上面的二维数据降为1维，那么我重建数据的公式就要由：


变为


也就是说

与数据重建的结果无关，数据存储的时候，只需要存一维坐标

，然后由

重建降维后的数据，而原来每个样本点的需要存储(x,y)两个数据，这就是所谓的数据降维。

x=importdata('x.txt');
y=importdata('y.txt');
data(:,1)=x;
data(:,2)=y;
plot(data(:,1),data(:,2),'.k');
%计算平均值
[m n]=size(data);
meanx=sum(data(:,1))/m;
meany=sum(data(:,2))/m;
covariation=data;
covariation(:,1)=covariation(:,1)-meanx;
covariation(:,2)=covariation(:,2)-meany;
%协方差矩阵
comatrix=covariation'*covariation;
%矩阵分解 通过svd计算的结果需要转换，才能得到特征向量，
% 而eig是不需要转换的，不过eig好像没有对特征向量的值进行排序
[s v d]=svd(comatrix);
[u1,eigD] = eig(comatrix)
for i=1:n
u(:,i)=1/sqrt(v(i,i))*comatrix*d(:,i);
end
hold on;
plot([0+meanx,u(1,2)+meanx],[meany,u(2,2)+meany],'-y');
%计算特征空间中的坐标
figure(2);
hold on;
for i=1:m
newpca(i,1)=covariation(i,:)*u(:,1);
newpca(i,2)=covariation(i,:)*u(:,2);
end
plot(newpca(:,1),newpca(:,2),'.k');

% x=u(1,2)*u1(2,1);判断是否平行
% y=u(2,2)*u1(1,1);
% plot([0+meanx,u1(1,1)+meanx],[meany,u1(2,1)+meany]);
% plot([0+meanx,u1(1,2)+meanx],[meany,u1(2,2)+meany]);

当然对于真正的数据，往往不仅仅是2维的，可以有更高维的向量，比如在机器学习领域，对于一张的图片

，每一个样本的维数就是400维，存在着大量的冗余数据，因此降维是很有必要的。

***********作者：hjimce 联系qq：139385268 更多资源请关注我的博客：http://blog.csdn.net/hjimce
原创文章，转载请注明出处 *********************