【线性代数公开课MIT Linear Algebra】 第十七课 正交基和正交矩阵

本系列笔记为方便日后自己查阅而写，更多的是个人见解，也算一种学习的复习与总结，望善始善终吧~

1. 标准正交基与正交矩阵

标准正交向量组 orthonomal vectors

彼此正交orthogonal且模长norm为1(normalized)

当做column vecor写成矩阵形式：




对于这样的矩阵，我们理所当然的要去观察他的QTQQ^TQ




这个式子对任意的QQ都成立，但我们更关注QQ为方阵时的情况，因为其有逆且由QTQ=IQ^TQ=I⇒Q−1=QT\Rightarrow Q^{-1}=Q^T，我们叫这种column vector为标准正交向量组组成且为方阵的矩阵为正交矩阵orthogonal matrix。

注意：标准正交矩阵*orthogonormal matrix不一定是方阵，当它是方阵的时候，我们叫它正交矩阵* orthogonal matrix。

正交矩阵 orthogonal matrix

为什么我们如此关注标准正交矩阵orthogonormal matrix为方阵的情形？联系我们之前学习的投影矩阵projection matrix，我们试着写出要把投影到QQ的column space的投影阵：P=Q(QTQ)−1QT=QQTP=Q(Q^TQ)^{-1}Q^T=QQ^T，当QQ为方阵时QQT=IQQ^T=I投影矩阵为单位矩阵，而QQ非方阵时我们需要进行计算。

引入orthogonormal matrix的目的在于使得我们之前寻找Ax=bAx=b最优解的过程变得更为简单，还记的求最优解就是求ATAx^=ATbA^TA\hat x=A^Tb吗？当AA为标准正交矩阵orthogonormal matrix QQ，式子重写为QTQx^=QTbQ^TQ\hat x=Q^Tb⇒x^=QTb\Rightarrow \hat x=Q^Tb进而可以发现x^i=qTib\hat x_i=q^T_ib即x^\hat x的第ii个分量为QQ的第ii个基向量乘以bb

2. 格拉姆-施密特正交化 Graham-Schmidt

这是一种将矩阵转化为标准正交向量orthogonormal matrix的方法。按老师的说法Schmidt教我们如何将一个向量标准化normalized，而Graham教我们如何使得各个向量正交orthogonal。

施密特 Schmidt

格拉姆 Graham

下面就是转化的过程，从两个向量说起：




我们原始的两个向量a,ba,b要转化为两个正交的向量A,BA,B，我们可以选择A=aA=a然后求解一个BB，回忆之前的内容，其实我们就是在求解在投影时产生的偏差向量error vector B=e=b−p=b−B=e=b-p=b-ATbATA{A^Tb}\over {A^TA}A A，如果我们加入cc呢？其实我们做的就是重复刚才的操作使得CC其与A，BA，B正交，故C=C−C=C-ATcATA{A^Tc} \over {A^TA}A−A-BTcBTB{B^Tc} \over {B^TB}BB，最后用施密特的方法normalized即可。

举个例子：




将AA转化为QQ，可以发现其column space是相同的，只是我们将其标准正交化之后得到的基basics更好一些，因为利用这些标准正交向量得到的标准正交矩阵有很好的性质，这可以方便我们计算。

3. QR分解

回忆我们之前的消元法，目的是使得A=LUA=LU，而格拉姆-施密特的目的在于A=QRA=QR，这里的RR是一个上三角矩阵upper triangular matrix




理由是RR会是由这些元素组成(不明所以，估计要去看书或者下一节课看看是否有讲解)，格拉姆-施密特的好处在于我们分解出来的q2,q3,...qnq_2,q_3,...q_n都是与aa正交的，所以我们会得到上三角形式的RR

PS：另一位仁兄的笔记 http://blog.csdn.net/suqier1314520/article/details/13769403