线性代数导论16——投影矩阵和最小二乘

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html
第十六课时：投影矩阵和最小二乘 Projections matrix and Least squares

投影矩阵
回顾上一讲的内容，只要知道矩阵A的列空间，就能得到投影矩阵P的导出式。



上述两种情况的证明，第一种情况，如果b在A的列空间，那么b可以表示为b=Ax，P乘Ax等于Ax。第二种情况，由于b与列空间正交，那么ATb=0，得证。
上述是两种特殊情况，一般情况下，向量b会有一分量在列空间里，另一分量则和列空间垂直（存在于左零空间）。投影要做的就是去掉与列空间垂直分量，保留在列空间中的分量。从几何上看，如下



b投影到两个正交的子空间中，投影到列空间p=Pb，投影到零空间的e=(I-P)b。P和 I-P都是投影矩阵，如果P是对称的，那 I-P也是。

最小二乘，典型的应用就是拟合最优直线
上一讲的问题，找到一条最优的直线 y=C+Dt，使得总误差最小。





A的两个列向量线性无关，右侧b向量并不在A的列空间中，无解，那么最接近的解是什么？找拥有最小误差平方和的解（用误差的平方和作为测量总误差的标准）：这些误差是Ax和b之间的差值，我们需要最小化它。Ax-b=e，即误差向量，是向量，即意味着要将向量e的长度最小化，因为求平方很容易且为非负数，向量长度大于等于0，当等于0时，b就在A的列空间中，此时有解。可以看到上图中，各点到直线的距离误差e1,e2,e3，现在就是要最小化这三者的平方和，这（线性拟合）是统计学中很重要的一部分，通常叫着线性回归分析。

考虑统计学中的离群值outlier，假设有个点距离最优解很远，那么使用最小二乘时，平方时误差就很大了。因此最小二乘法有点太容易受到离群量的影响。
现在假设三个观测点分别对应落在直线上的三个点p1,p2,p3，它们是用来替代已知的b1,b2,b3。e1,e2,e3分别是他们两对应点之间的距离。那么，p(p1,p2,p3)是b的分量，正好落在线上，用来替换(1 2 2)的，替换后方程就有解了。
解出p(p1,p2,p3)，x'=(c,d)



计算出ATA它是对称可逆方阵，且是正定矩阵（后面会讲）。右侧两个方程叫做”正规方程组“。



这个“正规方程组”的得到还可通过微积分的方法得到，通过最小化误差平方和得到，把误差的平方和看着函数，它有C和D两个变量，从微积分的观点看，可以分别对C和D求偏导，并令误差对变量C和D的偏导等于0就可得到上面两个式子。
消元解方程组得：D=1/2，C=2/3。所以最优直线为 y=2/3 + t/2。因此也可得到三个误差值：e1=-1/6，e2=2/6，e3=-1/6。p1=7/6，p2=5/3，p3=13/6。



p和e的关系：p+e=b，pT×e=0，e还垂直于列空间中的任意向量。





如上两图，用两种不同的方式，b在两个子空间的投影和最小二乘都描述了同一个问题，b到列空间的投影得向量p,找到了最接近b的列向量的线性组合C和D，C和D定义了最优直线，由C和D确定的列组合就是向量p。

如果矩阵A各列线性无关（是最小二乘法成立的大前提），证明ATA是可逆矩阵。
假设ATAx=0，那么只需要证明x只有零解。根据向量的平方为0得Ax=0，而A各列又是线性无关的，那么x=0.



因此，矩阵A各列线性无关时，ATA是可逆的。有一种线性无关的情况比较特别，那就是标准正交向量组。
首先，相互垂直的各列向量一定是线性无关的（零向量除外）。相互垂直的单位向量一定是线性无关的，它们称为标准正交向量组。比如w(cosθ,sinθ)和v(-sinθ,cosθ)就是一组典型的标准正交向量（相互垂直且是单位向量）。下讲看看标准正交向量组有什么优点以及如何使向量组标准正交化。