PCA-principal component analysis

PCA—–主成分分析，通常用于降维！

找到样本的主方向，怎么找到呢，主方向具有如下本质特征：

样本在主方向上投影的方差最大！

A为n个样本k个特征的矩阵，且已经进行中心话，即E=0;

J(u)=Var(Au)=(Au−E)T(Au−E)=uTATAu，如果假设u为单位化向量，即uTu=1即uTu−1=0,

则J(u)=uTATAu+λ(1−uTu)，对其求导：

J(u)′=2ATAu−2λu，令导数等于0：

2ATAu−2λu=0===>ATAu=λu，

所以λ即为ATA的特增值，u为其特征向量。