【线性代数公开课MIT Linear Algebra】 第十六课 Ax=b的解、最小二乘法与矩阵
2015-11-04 22:14
369 查看
本系列笔记为方便日后自己查阅而写,更多的是个人见解,也算一种学习的复习与总结,望善始善终吧~
结合我们过去学习到的四个基本子空间的内容,对于PbPb即b的投影:
- 若b在A的column space 则其投影为其本身b
- 若b垂直于A的column space则其投影为一个点,没有长度,为0
这是一张很重要的图片,向量bb的投影在AA 的column space,error vector的投影在left null space上,我们知道PP,可以将bb 投影到pp,那么一个什么样的投影矩阵把bb 投影到了ee?因为column space与left null space正交补,所以他们共同组成了整个空间,II 的column space就是整个空间,I−PI-P就是把b投影到e的矩阵,它和PP有意义的性质。
继续上一节课的内容,找到过三个点的直线就是解三个方程,但此方程无解,此时我们要找到最接近的解“最优解”,我们要使得解最优即误差最小,定义误差为Ax−b=eAx-b=e的模长的平方即∥Ax−b∥2=∥e∥2=e21+e22+e23\|Ax-b\|^2=\|e\|^2=e_1^2+e_2^2+e_3^2
这里使用平方的原因一是排除开根号带来的非线性运算,一是方便利用偏导数求解最小值。所以这里如果使用偏导数我们也能得到关于最优解的方程,用矩阵的方法求解
Ax^=PbA\hat x=Pb
得到的方程是一样的,求解即可得出结果
我们脑海中要有两张图:
一个是我们要拟合的直线的那张图,各个点在我们得到的直线上的投影为p,偏差为e。
另一个是之前我们的column space与left null space的图,b向量的投影p向量在column space而e 向量在left null space,二者正交
要证明ATAA^TA可逆,即证ATAx=0A^TAx=0时,x只能为零向量
两边同乘xTx^T得
xTATAx=0x^TA^TAx=0
⇒(Ax)T(Ax)=0\Rightarrow (Ax)^T(Ax)=0
⇒Ax=0\Rightarrow Ax=0,由于A中各列线性无关
⇒x=0\Rightarrow x=0
最后老师引入标准正交向量组:它们肯定线性无关
PS:另一位仁兄的笔记
http://blog.csdn.net/suqier1314520/article/details/13759193
基本子空间与投影矩阵
上一节课我们已经了解了投影矩阵 projection matrix, P=A(ATA)−1ATP=A(A^TA)^{-1}A^T结合我们过去学习到的四个基本子空间的内容,对于PbPb即b的投影:
- 若b在A的column space 则其投影为其本身b
- 若b垂直于A的column space则其投影为一个点,没有长度,为0
这是一张很重要的图片,向量bb的投影在AA 的column space,error vector的投影在left null space上,我们知道PP,可以将bb 投影到pp,那么一个什么样的投影矩阵把bb 投影到了ee?因为column space与left null space正交补,所以他们共同组成了整个空间,II 的column space就是整个空间,I−PI-P就是把b投影到e的矩阵,它和PP有意义的性质。
最小二乘 least square
继续上一节课的内容,找到过三个点的直线就是解三个方程,但此方程无解,此时我们要找到最接近的解“最优解”,我们要使得解最优即误差最小,定义误差为Ax−b=eAx-b=e的模长的平方即∥Ax−b∥2=∥e∥2=e21+e22+e23\|Ax-b\|^2=\|e\|^2=e_1^2+e_2^2+e_3^2
这里使用平方的原因一是排除开根号带来的非线性运算,一是方便利用偏导数求解最小值。所以这里如果使用偏导数我们也能得到关于最优解的方程,用矩阵的方法求解
Ax^=PbA\hat x=Pb
得到的方程是一样的,求解即可得出结果
我们脑海中要有两张图:
一个是我们要拟合的直线的那张图,各个点在我们得到的直线上的投影为p,偏差为e。
另一个是之前我们的column space与left null space的图,b向量的投影p向量在column space而e 向量在left null space,二者正交
证明ATAA^TA可逆
求解ATAx^=ATbA^TA\hat x=A^Tb时,方程有解的条件为ATAA^TA可逆,实际上只有当AA的column vector线性无关时可逆,求证:要证明ATAA^TA可逆,即证ATAx=0A^TAx=0时,x只能为零向量
两边同乘xTx^T得
xTATAx=0x^TA^TAx=0
⇒(Ax)T(Ax)=0\Rightarrow (Ax)^T(Ax)=0
⇒Ax=0\Rightarrow Ax=0,由于A中各列线性无关
⇒x=0\Rightarrow x=0
最后老师引入标准正交向量组:它们肯定线性无关
PS:另一位仁兄的笔记
http://blog.csdn.net/suqier1314520/article/details/13759193
相关文章推荐
- 对二进制输出文件的认识
- 在阿里云的ubuntu服务器上安装xampp时出现unable to realloc unable to realloc 8380000 bytes错误
- Linux于Windows使用Samba共享文件时文件属性nobody nogroup的解决办法
- QT写文件
- javascript(五)undefined false 字符串变量
- String to Integer (atoi)
- JMS简介
- iOS UI 知识点
- linux下卸载mysql
- [Linux学习笔记] Linux常用命令 - 用户版本信息查看
- iOS回收键盘小见
- 近两天项目冲刺
- Same Tree
- mysql批量删除相同前缀的表格
- 登入测试
- Codevs_P1036 商务旅行(LCA)
- android 加密
- android6 titlebar 详解
- leetcode-Reverse Linked List
- .net关于httpModules的应用示例