特征值分解与奇异值分解

特征值分解和奇异值分解是重要的线代知识，在大量算法里面出现，特意在这里总结一下。

*特征值分解

定义：




：特征值


:对应的特征向量

目标：

将一个矩阵分解成



过程：



方法：

算出A的特征值，组成Σ；算出每个特征值对应的特征向量（彼此正交），组成S

含义：

对一个N阶对称方阵进行特征分解，就是产生了该空间的N个标准正交基，然后把矩阵投影到这N个基上。N个特征向量就是N个标准正交基，而特征值的模则代表矩阵在每个基上的投影长度。

局限：只能处理方阵

为了处理一般矩阵，得到矩阵的重要特征，提出了奇异值分解

*奇异值分解

目标：



U是一个N * N的方阵（里面的向量是正交的，U里面的向量称为左奇异向量）

Σ是一个N * M的矩阵（除了对角线的元素都是0，对角线上的元素称为奇异值）

V’(V的转置)是一个N * N的矩阵，里面的向量也是正交的，V里面的向量称为右奇异向量）

方法：

第一步：得到

和V



因而对A’(A的转置)*A进行特征值分解，得到

和V

第二步：计算U

方法①：

，与上述思路相同，求出U

方法②：

求出U

复杂度：O(N^3)

google有提出并行化的方法

参考文献：

1.机器学习中的数学(5)-强大的矩阵奇异值分解(SVD)及其应用：http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html

2.如何理解矩阵特征值？ ：http://www.zhihu.com/question/21874816

3.奇异值分解（We Recommend a Singular Value Decomposition）http://www.flickering.cn/nlp/2015/01/%e5%a5%87%e5%bc%82%e5%80%bc%e5%88%86%e8%a7%a3%ef%bc%88we-recommend-a-singular-value-decomposition%ef%bc%89/#jtss-tsina