您的位置：首页 > 其它

机器学习——特征工程之核化线性降维KPCA

2017-10-12 19:03 274 查看

一、前言

1、线性降维的假设：从高维空间到低维空间的函数映射是线性的

2、然而，现实任务中大多数可能需要非线性映射才能找到恰当的低维嵌入

3、低维嵌入：低维（“本真”）空间样本点采样后以某种分布嵌入（映射）到高维空间中

二、KPCA原理

1、非线性降维常用方法之一：基于核技巧对线性降维方法进行“核化”

2、 PCA求解目标：
$(∑_{i=1}^m z_i z_i^T )W=λW$

a)
$z_i$
是样本点
$x_i$
在高维特征空间中的像

b) 简化得
$W=∑_{i=1}^m z_i (z_i^T W)/λ = ∑_{i=1}^m z_i α_i$

3、假定
$z_i$
是由原始属性空间中的样本点
$x_i$
通过映射
$ϕ$
产生

a)
$(∑_{i=1}^m ϕ(x_i ) ϕ(x_i )^T )W=λW$

b)
$W=∑_{i=1}^m ϕ(x_i ) α_i$

c) 引入核函数
$κ(x_i,x_j )= ϕ(x_i )^T ϕ(x_j )$

d) 化简后得
$KA=λA$
，其中K为
$κ$
对应的核矩阵，
$(K)_{ij}=κ(x_i,x_j )$
，
$A=(α_1;α_2;⋯;α_m )$

4、新样本
$x_i$
，其投影后的第j维坐标为
$z_j=w_j^T ϕ(x)=∑_{i=1}^m α_i^j κ(x_i,x)$
（计算开销较大）

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签：

相关文章推荐

新的分享

章节导航