机器学习 - 降维算法总结

机器学习 - 降维算法总结

上课学了这六种算法，总结一下，加强理解。

目的：将X:N×d 映射到Z:N×d′

PCA

找一个线性变换W，Z=WTX使得重构误差最小。

KPCA

X非线性的情况下，可以映射到合适的高维特征空间ϕ(X)之后，再对ϕ(X)使用PCA方法。但是ϕ(X)不好找，计算
13933
代价大，“对ϕ(X)使用PCA”的计算过程中可用核函数替代计算。

MDS

直接计算Z，保持X的点间距离在Z空间尽可能不变。

Isomap

根据X的点间距建立邻接关系图，对于不相连的点对，计算连接其的最短路径，得到所有点对之间的测地距离。对测地距离使用MDS算法。

LLE

用x(i)的邻居的线性组合表示x(i)，求出使所有x 重构误差最小的组合系数wij。在低维空间中，z(i)同样用邻居的线性组合表示，组合系数给定为wij。求出使所有z 重构误差最小的z 。

LE

根据X 的点间距建立邻接关系图，赋予边权重wij。该权重是两端点相似性的一种度量。权重越大，端点越相似（越近）。在z 空间中保持这种相似关系。目标函数：minz∑i,j(z(i)−z(j))2wij其含义为：当x(i)、x(j)越相似，z(i)与z(j)也应该越接近，此时wij会比较大，则给(z(i)−z(j))2更重的惩罚。