KPCA降维

KPCA方法是一种非线性主元分析方法，主要思想：通过某种事先选择的非线性映射函数Ф将输入矢量X映射到一个高维线性特征空间F之中，然后在空间F中使用PCA方法计算主元成分，核主成分分析最主要是非线性映射函数Ф的选取。

核函数如下：

径向基核函数：


                                                  

多项式核函：

               

Sigmoid核函数：

                  

算法步骤：

Step 1. 数据标准化处理。

Step 2. 求核矩阵K，使用核函数来实现将原始数据由数据空间映射到特征空间。采用的核函数为径向基核函数，公式为：


Step 3. 中心化核矩阵Kc，用于修正核矩阵。公式为：

  


              其中 为N×N的矩阵，每一个元素都为1/N

Step 4. 计算矩阵KC的特征值 ，对应的特征向量为

 。特征值决定方差的大小

，也就是说特征值越大所蕴含的有用信息越多，因此按特征值降序排序得
，特征向量相应调整 。

Step 5. 通过施密特正交化方法，正交化并单位化特征向量，得到

。

Step 6. 计算特征值的累计贡献率

，根据给定的贡献率要求p，如果rt>p，则选取前t个主分量

，作为降维后的数据。