您的位置：首页 > 其它

清华大学公开课线性代数2——第3讲：奇异值分解

2017-12-20 20:52 267 查看

此博客停止更新迁移至SnailDove’s Blog，查看本文点击此处

笔记源自：清华大学公开课：线性代数2——第3讲：奇异值分解

提示：如果文中图片看不清文字，请右键单击鼠标，选择在新窗口打开图片，然后放大图片（这边上传之前都是可以看清的，由于网页正文部分大小固定，因此图片被自动缩小以便适配网页），截图部分是课堂ppt老师随手的板书。

前言

对角矩阵是我们最喜欢的一类矩阵，对能够相似于对角阵的矩阵能方便地计算其幂和指数，对不能相似于对角阵的方阵。上节课我们讨论了如何求出其尽可能简单的相似标准形及Jordan标准形以上讨论的都是方阵。那么对m乘n的矩阵我们如何来对它进行对角化呢？

线性代数中最重要的一类矩阵分解即奇异值分解，从而回答以上的问题。对角矩阵是我们最喜欢的一类矩阵，因为给定一个对角阵立即就可以得到它的特征值，行列式，幂和指数函数等等。对角矩阵的运算跟我们熟悉的数的运算有很多相似之处，而一个n阶的矩阵相似于对角阵当且仅当它存在着n个线性无关的特征向量。

特别地，实对称矩阵一定会正交相似于对角阵，也就是说给你一个实对称矩阵，一定存在着正交矩阵QQ把它的列向量记成v1v1到vnvn，它能够满足QTAQQTAQ等于λλ，λλ是一个对角阵，它的对角元是AA的特征值，那么其中QQ的列向量vivi，它是矩阵AA的属于特征值，λiλi的特征向量，也就是满足AviAvi等于λiviλivi。我们现在有个问题是说，如果对于m×nm×n的一个矩阵，我们如何来”对角化”它。那么也就是说在什么意义上，我们能够尽可能地。把m×nm×n的一个矩形的阵向对角阵靠拢，今天我们来讨论矩阵的奇异值分解它是线性代数应用中，最重要的一类矩阵分解。

AATAAT与ATAATA的特性

AATAAT与ATAATA的特征值

AATAAT与ATAATA非0特征值集合

ATAATA与AATAAT的特征向量

令ui:=Aviσi∈Rm(1≤i≤r)ui:=Aviσi∈Rm(1≤i≤r)，则 AATui=A(ATAviσi)=AATAviσi=Aσi2viσi=σi2Aviσi=σi2uiAATui=A(ATAviσi)=AATAviσi=Aσi2viσi=σi2Aviσi=σi2ui，得出：AATui=σi2uiAATui=σi2ui。又因为：uiTuj=AviTσiAvjσj=viT(ATAvj)σiσj=σj2viTvjσiσj=σjσiviTvj→uiTuj={0,1,i≠ji=juiTuj=AviTσiAvjσj=viT(ATAvj)σiσj=σj2viTvjσiσj=σjσiviTvj→uiTuj={0,i≠j1,i=j故：{ui|1≤i≤r}{ui|1≤i≤r} 是AATAAT的单位正交特征向量。

根据假设（v1,...,vnv1,...,vn是ATAATA的单位交基，σ21,...,σ2nσ12,...,σn2是AATAAT的特征值）得：ATAvi=σ2ivi(1≤i≤r)→vTiATAvi=vTiσ2ivi=σ2ivTivi→||Avi||2=σ2i→|Avi|=σiATAvi=σi2vi(1≤i≤r)→viTATAvi=viTσi2vi=σi2viTvi→||Avi||2=σi2→|Avi|=σi

从AATAAT得出SVD

(1)ui:=Aviσi∈Rm(1≤i≤r)→Avi=σiui(2)ATAvi=σi2vi,(i≤i≤r)→ATAviσi=σivi→ATui=σivi(1)ui:=Aviσi∈Rm(1≤i≤r)→Avi=σiui(2)ATAvi=σi2vi,(i≤i≤r)→ATAviσi=σivi→ATui=σivi

由上式子得：UU是AA列空间的一组单位正交基，VV是ATAT的列空间的一组单位正交基。σiσi是AviAvi的长度，计⎛⎝⎜⎜⎜⎜⎜⎜σ1...σr⎞⎠⎟⎟⎟⎟⎟⎟(σ1...σr)为ΣΣ，得：Am×nVn×r=Um×rΣr×r→Am×n=Um×rΣr×rV−1r×n=Um×rΣr×rVTr×nAm×nVn×r=Um×rΣr×r→Am×n=Um×rΣr×rV−1r×n=Um×rΣr×rVTr×n

向量形式：A=∑ri=1σiuiviTA=∑i=1rσiuiviT

SVD形式

例题

求u3u3两种方法：

方法1：AATu3=⎛⎝⎜10101−1⎞⎠⎟(10011−1)u3=⎛⎝⎜10101−11−12⎞⎠⎟u3=0u3→u3=13√⎛⎝⎜1−1−1⎞⎠⎟AATu3=(10011−1)(10101−1)u3=(10101−11−12)u3=0u3→u3=13(1−1−1)

方法2：uj:=⎛⎝⎜xyz⎞⎠⎟,∑r=3i=1uiuj=0(i≠j),||uj||2=1→uj=3=13√⎛⎝⎜1−1−1⎞⎠⎟uj:=(xyz),∑i=1r=3uiuj=0(i≠j),||uj||2=1→uj=3=13(1−1−1)