MIT 线性代数(13—15)读书笔记
2017-04-05 16:56
369 查看
第十三讲 第一阶段总结
前12讲主要是介绍了矩阵的基础知识、Ax=0和Ax=b、四个空间(A的零空间、列空间、行空间和左零空间)。本讲主要是介绍了一些基本题目和简要定理。第一题. 令u、v、w是R^7空间内的非零向量:则u、v、w生成的向量空间可能是1,2,3维的。
第二题. 秩(rank)的问题
第三题. 求矩阵A
1)求A的行向量的生成空间的维数。
由已知可得A 是3×3 的矩阵,A 的零空间的维数是2,可从通解中看到,所以行空间的维数是3-2=1
2)矩阵A 是怎样的?
由x 为(2 0 0)可得,A 的第一个列向量的两倍是(2 4 2),得A 的第一列为(1 2 1),然后,一个矩阵的零空
间包含(0 0 1),这说明矩阵的最后一列均为0,最后由零空间向量(1 1 0)可得A 第二列为(-1 -2 -1)。
3)向量b 满足什么条件时,Ax=b 有解
很明显向量b 在列空间时有解,所以实际上是在求列空间。
第四题
1)有一方阵的零空间中只有零向量,则其左零空间也只有零向量。(由行空间的维数和列空间的维数相等可推出)
2)由5×5矩阵组成的矩阵空间,其中的可逆矩阵能否构成子空间?两个可逆矩阵相加的结果并不一定可逆,况且零矩阵本身并不包含在可逆矩阵中。其中的奇异矩阵(singular matrix,非可逆矩阵)也不能组成子空间,因为其相加的结果并不一定能够保持不可逆。
第五题
1)在不解出B的情况下,求B的零空间。
2)求解Bx=[1 0 1]^T的通解,只要得到特解和零空间就可得到通解=x_p+x_n。
因为B 的第一列和[1 0 1]^T是一样的,所以可以得到一个特解[1 0 0 0]^T,加上1)得到的零空间即可:
第六题
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
第十四讲 正交向量与子空间与Ax=b
1.正交向量
在n 维空间中,向量之间的夹角是90 度,1) 判断两个向量X,Y 是否正交,求乘积(X^T)Y 是否等于0,即如果(X^T)Y=0,则X,Y 正交。
2) 零向量与任何向量都正交。
2.正交子空间
2.1定义
定义:如果子空间S 与子空间T 正交,那么S 中的每个向量都和T 中的每个向量正交。如果两个子空间正交,那么他们必定不会交与某个非零向量。
例如:
零向量和平面内任意其他子空间正交;平面内两条垂直的直线子空间也是正交子空间。
2.2正交补
矩阵A的行空间和零空间是将整个n 维空间一分为二的两个相互正交的子空间,两个子空间的维数和为n,称为n维空间里面的正交补(即零空间包含了所有与行空间正交的向量)。这是因为:若Ax=0 存在零空间,则零空间的向量x与矩阵A相乘Ax=0,则表示A的各行乘以x 向量得到零向量,说明A的行向量与x是正交的,但是是否A的行空间(行空间包含这些行向量线性组合得到的所有向量)里所有的向量都与x正呢?很明显x
正交于行向量的线性组合。
同理:列空间和左零空间是将整个m 维空间一分为二的两个相互正交的子空间,两个子空间的维数和为m,称为m维空间里面的正交补(左零空间包含了所有与零空间正交的向量)。如下图所示:
3.Ax=b无解时的求解方法
如何求Ax=b 一个无解的方程组的解,即当Ax=b 无解时(b不在A的列空间),如何去解这个方程组。对于长方矩阵(很多情况下是无解的,因为b很可能不能由A的列向量线性组合得到),有时候A的m方程很多,n未知数很少,这时候有些方程可能得到的结果是有很大误差的,即坏数据,即b中有一部分是坏数据,其实求出方程的解只需要一小部分方程就够了,需要做的是,把这些”坏数据“筛选出来,这是线性代数需要解决的问题,如何去求这个解,最优解是什么。(可表述为:我们得到一些方程(这些方程无解),如何求出它们的最优解?)
解法:
1)不断去掉一些方程,直到剩下一个可逆的方阵,然后求出它的解。但这种方法不好判断。
2)矩阵A是m×n 的长方矩阵,那么(A^T)A结果就是一个n×n 的对称方阵。因此,当Ax=b这是一个坏方程时,只需要把坏方程两侧乘以A转置,就得到好方程。
注:
1)坏方程两侧乘以A转置之后的x'与Ax=b 是不同的,我们希望新的方程组是可解的,而且这是最优解。
2)对于(A^T)A,它不一定是可逆的,(A^T)A的秩等于A的秩,因此(A^T)A 的零空间等于A 的零空间。(下一讲会进行证明)。
N((A^T)A)=N(A)
Rank((A^T)A)=Rank(A)
因此可得,当且仅当A的零空间里面只有零向量(A的各列线性无关)时,(A^T)A 可逆。
4.总结
1. 正交向量和正交补的定义。2. 求解Ax=b中含有坏数据的方法以及两侧乘以A转置的注意事项。
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
第十五讲 子空间的投影和Ax=b
此课老师说要名垂千古,就当作重中之重吧。引子:
上一讲中Ax=b无解的时候说起,当其无解的时候,我们求的解是什么?
我们想要的"最优解",即这个节对于原方程偏差最小,我们知道Ax=b有解时b在A的列空间中;当无解时,我们取b在A的列空间的b',Ax=b'理论上是"最优解"。
1.投影矩阵
1.1 二维欧式空间的投影
如图向量b到向量a的最短距离是b在a上的投影是p,a垂直于e,e就像误差e=b-p,e与p互相垂直,p是a的某个倍数x,p=xa,它在a的一维子空间里,可得到一个方程,求解x,方程为:(a^T)(b-xa)
= 0。
其中(a^T)a是一个常数,a(a^T)是一个矩阵。假设b变成原来的2倍,那么投影p也变成原来的2倍;如果a变为原来的2
倍,p则不变。
假设把上式写成:p=Pb,则P称为投影矩阵,可以说投影矩阵作用与某个向量后,得到其投影向量,
。
投影矩阵P的性质:
1)rank(P)=1,因为P中a(a^T)是一个矩阵,而a秩为1;
2)向量a是列空间的基,因为投影矩阵乘以任何向量b后仍旧在其列空间,因此投影矩阵的列空间C(P)是通过a的一条线;
3)P是对称的(P^T)=P;
4)对投影好的vectorp再次投影结果不变,所以P^2=P。
1.2高维空间
1)正如引子所写,为什么要做投影?因为Ax=b也许会无解,可能等式太多,造成无解,那么只能求解最接近的那个可能问题。Ax总在A的列空间里,那么如果将b微调,将b变为列空间中最接近它自己的那一个,将问题换做求解Ax'=p (x'不是原来那个不存在的x,而是那个最接近解的x',即最优解),p
是b在列空间上的投影(列空间内最合适的右侧向量)。这就是要找最好的那个投影的原因。
2)在三维空间中,将向量b投影在平面上A。同样的,p是向量b在平面A上的投影,e是垂直于平面A的向量,即b在平面A法方向的分量。设平面A的一组基为a_1,a_2,则投影向量p=(a_1)(x'_1)+(a_2)(x'_2),我们更倾向于写作p=Ax',这里如果我们求出x',则该解就是无解方程组最近似的解。
它与直线上的投影方程很相似,对于直线来说,矩阵A只有一列,就是一个小写的a,本质都是(A^T)e = 0 。所以,e在(A^T)的零空间中,从前面几讲我们知道,左零空间与列空间垂直,则e与A的列空间垂直,与我们设想的一致。
3)那么x'是什么?投影p 是什么?投影矩阵P 是什么?(与一维情况下得到的公式相比较)
2. 最小二乘法
如图,要找到一条最优的直线来拟合这些点,误差最小。我们要确定C 和D的大小,来得到b=C+Dt 方程。根据条件可以得到方程组
,写作矩阵形式
,也就是我们的
,很明显方程组无解。
但是
有解,于是我们将原是两边同时乘以
后得到的新方程组是有解的,
也是最小二乘法的核心方程。
3.总结
1.投影矩阵及其应用;2.解决Ax=b无解时,最优解的问题;
3.最小二乘法。
相关文章推荐
- MIT 线性代数(7—9)读书笔记
- 15-03-13读书笔记
- MIT 线性代数(4—6)读书笔记
- MIT 线性代数(31—33)读书笔记
- MIT 线性代数(34—35)读书笔记
- MIT 线性代数(10—12)读书笔记
- MIT 线性代数(1—3)读书笔记
- MIT 线性代数(16—18)读书笔记
- 《Android开发艺术探索》读书笔记 (13) 第13章 综合技术、第14章 JNI和NDK编程、第15章 Android性能优化
- 编写java程序151条建议读书笔记(13)
- 数值分析读书笔记(2)求解线性代数方程组的直接方法
- MIT18.06线性代数课程笔记15:子空间投影矩阵
- Java 读书笔记13 字符串
- 15-StringBuffer-13-常用对象API(StringBuilder类-练习)
- 百度前端技术学院task13-task15的总结
- 读书笔记——Windows核心编程(15)在应用程序中使用虚拟内存
- microsoft mobile 移动应用开发宝典----读书笔记(15)
- MIT 18.06 线性代数总结(Part I)
- MIT《线性代数》第一课 线性方程组的几何解释
- 读书笔记《Effective c++》 条款13 以对象管理资源