投影矩阵和最小二乘

前面一篇文章中我们得出投影矩阵

，它能产生投影，现在我们来看两种极端情况，第一种就是b就在列空间里，那么在上一篇文章中已经给出投影矩阵为I，即相当于不做任何投影；第二种极端情况就是b垂直于列空间，此时Pb=0，一般情况下向量会有一分量在列空间里，另一分量与列空间垂直，因此投影完成的功能就是去掉垂直部分，保留另一部分。那么这个公式是如何起到这种作用的呢？假设向量b1垂直于列空间，则b垂直于列空间的所有列，则


，因为式中的ATb=0；假设b2在列空间中，则b2的一般形式为Ax，也就是说Ax=b，因此Pb=Ax，b保持不变。

现在我们继续讲如何使用

，也就是继续上一篇的最小二乘问题，该问题根据三个点（1,1），（2,2），（3,2）拟合直线y=C+Dt，我们已经知道其对应的Ax=b为


，设三个点距离y=C+Dt的误差分别为e1，e2，e3，那么我们需要最小化Ax和b的误差e，按照上一篇讲述的，将方程转化为


，算得

，因此得到方程组3C+6D=5，6C+14D=11，这里使用的是线性代数方法来求解CD，其实我们还可以利用微积分求解CD，我们要做的就是最小化误差函数(C+D-1)2+(C+2D-2)2+(C+3D-2)2，对该式求偏导，最终也能得到3C+6D=5，6C+14D=11，求解得C=2/3，D=1/2，所以最优直线是y=2/3+1/2t，由此三个点在线上的投影为p1=7/6，p2=5/3，p3=13/6（不是垂直投影），各点的误差为e1=-1/6，e2=2/6，e3=-1/6，b，p和e之间满足b=p+e，即


，e不仅垂直于p，同时还垂直于其他向量，e垂直于整个列空间。