奇异值与特征值的关系
2017-06-30 16:45
190 查看
转自:http://blog.csdn.net/u010910642/article/details/51416911?locationNum=12
一、 矩阵可以认为是一种线性变换,而且这种线性变换的作用效果与基的选择有关。
以y=Ax为例,y是m维向量,x是n维向量,m,n可以相等也可以不相等,表示矩阵可以将一个向量线性变换到另一个向量,这样一个线性变换的作用可以包含旋转、缩放和投影三种类型的效应。
奇异值分解正是对线性变换这三种效应的一个析构。
A=UΣVT,U和V是两组正交单位向量,Σ是对角阵,表示奇异值,它表示我们找到了U和V这样两组基,A矩阵的作用是将一个向量从V这组正交基向量的空间旋转到U这组正交基向量空间,并对每个方向进行了一定的缩放,缩放因子就是各个奇异值。如果V维度比U大,则表示还进行了投影。可以说奇异值分解将一个矩阵原本混合在一起的三种作用效果,分解出来了。
而特征值分解其实是对旋转缩放两种效应的归并。(有投影效应的矩阵不是方阵,没有特征值)
特征值,特征向量由Ax=x得到,它表示如果一个向量v处于A的特征向量方向,那么Av对v的线性变换作用只是一个缩放。也就是说,求特征向量和特征值的过程,我们找到了这样一组基,在这组基下,矩阵的作用效果仅仅是存粹的缩放。对于实对称矩阵,特征向量正交,我们可以将特征向量式子写成,这样就和奇异值分解类似了,就是A矩阵将一个向量从x这组基的空间旋转到x这组基的空间,并在每个方向进行了缩放,由于前后都是x,就是没有旋转或者理解为旋转了0度。
总结一下,特征值分解和奇异值分解都是给一个矩阵(线性变换)找一组特殊的基,特征值分解找到了特征向量这组基,在这组基下该线性变换只有缩放效果。而奇异值分解则是找到另一组基,这组基下线性变换的旋转、缩放、投影三种功能独立地展示出来了。我感觉特征值分解其实是一种找特殊角度,让旋转效果不显露出来,所以并不是所有矩阵都能找到这样巧妙的角度。仅有缩放效果,表示、计算的时候都更方便,这样的基很多时候不再正交了,又限制了一些应用。
一、 矩阵可以认为是一种线性变换,而且这种线性变换的作用效果与基的选择有关。
以y=Ax为例,y是m维向量,x是n维向量,m,n可以相等也可以不相等,表示矩阵可以将一个向量线性变换到另一个向量,这样一个线性变换的作用可以包含旋转、缩放和投影三种类型的效应。
奇异值分解正是对线性变换这三种效应的一个析构。
A=UΣVT,U和V是两组正交单位向量,Σ是对角阵,表示奇异值,它表示我们找到了U和V这样两组基,A矩阵的作用是将一个向量从V这组正交基向量的空间旋转到U这组正交基向量空间,并对每个方向进行了一定的缩放,缩放因子就是各个奇异值。如果V维度比U大,则表示还进行了投影。可以说奇异值分解将一个矩阵原本混合在一起的三种作用效果,分解出来了。
而特征值分解其实是对旋转缩放两种效应的归并。(有投影效应的矩阵不是方阵,没有特征值)
特征值,特征向量由Ax=x得到,它表示如果一个向量v处于A的特征向量方向,那么Av对v的线性变换作用只是一个缩放。也就是说,求特征向量和特征值的过程,我们找到了这样一组基,在这组基下,矩阵的作用效果仅仅是存粹的缩放。对于实对称矩阵,特征向量正交,我们可以将特征向量式子写成,这样就和奇异值分解类似了,就是A矩阵将一个向量从x这组基的空间旋转到x这组基的空间,并在每个方向进行了缩放,由于前后都是x,就是没有旋转或者理解为旋转了0度。
总结一下,特征值分解和奇异值分解都是给一个矩阵(线性变换)找一组特殊的基,特征值分解找到了特征向量这组基,在这组基下该线性变换只有缩放效果。而奇异值分解则是找到另一组基,这组基下线性变换的旋转、缩放、投影三种功能独立地展示出来了。我感觉特征值分解其实是一种找特殊角度,让旋转效果不显露出来,所以并不是所有矩阵都能找到这样巧妙的角度。仅有缩放效果,表示、计算的时候都更方便,这样的基很多时候不再正交了,又限制了一些应用。
相关文章推荐
- 奇异值与特征值的关系
- 奇异值和特征值
- 关于线性模型你可能还不知道的二三事(三、特征值与奇异值的魔力)
- [机器学习]矩阵的奇异值与特征值有什么相似之处与区别之处?
- matlab矩阵及其基本运算—特征值分解和奇异值分解
- 理解不同特征值的特征向量之间的非线性关系
- 矩阵的特征值分解与奇异值分解的几何意义
- 主成分分析与奇异值分解的关系
- 协方差矩阵的几何解释--协方差矩阵的特征值分解部分,很好的解释了奇异值分解主成分选择的原因
- 矩阵的奇异值与特征值有什么相似之处与区别之处?
- matlab矩阵及其基本运算—特征值分解和奇异值分解
- 特征值和奇异值(svd)
- 一分钟了解"特征值分解和奇异值分解SVD的区别"
- 奇异值分解 VS 特征值分解
- 特征值和奇异值(svd)
- PCA、协方差矩阵、特征向量、特征值之间的关系
- 线性代数(三十一) : 特征值与行列式以及迹的关系
- 数据降维:特征值分解和奇异值分解的实战分析
- 【概率基础】奇异值与特征值(结合LSI)
- 机器学习(十二)——机器学习中的矩阵方法(2)特征值和奇异值