MIT 线性代数（7—9）读书笔记

---------------------------------------------------------------------------------------------------------------------

第七讲  求解Ax=0：主变量、特解

本课时将讲解如何计算那些向量空间中的向量，从概念定义转向算法，求解Ax=0的算法是怎样的，即零空间。

一、AX = 0的求解

对于AX = 0的求解过程，我们通过例子一一展示。下面设A矩阵为：



接下来我们对A矩阵进行消元,由于对于矩阵A 进行“行操作”并不会改变Ax=b 的解，因此也不会改变零空间（但是会改变列空间）。



消元得到:



U（echelon form 阶梯式）。此时，根据课中教授定义。矩阵的rank（我们称之为秩）为消元中主元的个数（用r表示）。相对于非主元我们称之为free variables（自由变元）的个数为n-r（n为变量的个数）。

当我们将系数矩阵变换为上三角阵U 时，就可以用回代求得方程Ux=0 的解。

自由变元的取值可以为随意值，当我们为其设定后，我们便可以求出对应的特解。例如为了计算方便我们将分别设为（1，0）和（0，1）,即令x2=1，而x4=0
和x2=0
而x4=1。那么就可以求出如下两个特解。


 即  

（c、d是变量）

矩阵A 的零空间就是这些“特解”向量的线性组合所构成的向量空间，x= c[−2,1,0,0]T+d[2,0,−2,1]T。自由列的数目等于n-r，这是特解的数目和零空间的维数。

算法整理：消元后矩阵U的秩Rank(A)=r，表示主变量的个数，主元的个数，表示只有r个方程起作用，那么自由变量的个数即n-r个（对于矩阵m×n，n列对应n个未知数），令自由变量取1,0值就能得到特解，所有的特解构成了零空间的基，特解的线性组合即构成了整个零空间。

二、行最简形式

2.1 简化的行阶梯形式R

R=简化行阶梯形式reduced row echelon form（rref）：主元上下都是0，主元变为1
全为0的行三是如何得来的，因为这一行是其他行的线性组合，消元会把它剃除。继续消元，我们可以把主元上方位置变为0


(RREF)

它以最简的形式包含了所有信息：
1）主行（行一，行二）；
2）主列（列一，列三），自由列，主元；
3）一个单位阵，主元上下均为0，而且主元为1，单位阵位于主列和主行的交汇处。以上是一个2×2的单位阵；
4）一个全为0的行，全为0的行总表示，该行的原行是其他行的线性组合；
5）从Ax=0变为Ux=0再变为Rx=0的解，解更明了



通过“列交换”，可以将矩阵R 中的主元列集中在左侧，从而在左上角形成这个单位阵。如果矩阵A 中的某些行是线性相关的，则在矩阵R 的下半部分就会出现一些完全为0的行向量。F即自由列消元后组成的部分。



此时，我们对由A变化而来的R如下表示的设定：


     


那么矩阵R可以表示为：

2.2  通过Rx=0得到Ax=0的零向量空间

原方程Ax=0 变为Ux=0，又变为求解Rx=0。



为了简化，可以写成：



回代得xpivot=−Fxfree，如果令xfree=I，则xpivot=−F。所以零空间矩阵N最终形式为 



其Ax=0的解为：x=cN（常数c）。

此时要注意如果在变换出R 左上角的单位阵的过程中采用了列交换，则最后的解要完成逆变换。在本例中，R进行了第二列和第三列交换才形成[IF]，所以零空间N=[−FI],需要进行第二行和第三行交换，才能得到解⎡⎣⎢⎢⎢−210020−21⎤⎦⎥⎥⎥。

×××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××
总结：
1. Ax=0 在空间上的表示，以及次方程变成Ux=0的时候的求解其零空间的方法；
2. Ax=0变成Ux=0时，此时Ax=0零空间的求解方法零空间N=[ I F ]。

---------------------------------------------------------------------------------------------------------------------------------------------------------------

 第八讲  求解Ax=b：可解性和解的结构

1. 方程组 Ax=b

首先，继续上次课的例子：











通过以上推导可以看到，如果方程组有解，必须满足b_3=b_1+b_2。消元告诉我们，这是必须的。换句话说，左侧行的线性组合得到0，那么右侧常量线性组合也比为0。

2、方程组Ax=b的可解性

从上面的例子可以看出Ax=b可解性Solvability(有解时右侧向量b 须满足的条件):

1）有解，仅当b 属于A 的列空间时成立，即，b 必须是A 的各列的线性组合；

2）行的线性组合如果得到零行，那么b 中元素的同样组合必然也是零。

这两种描述是等价的！他们同样是描述方程组有解的条件。

3.Ax=b解的结构

从开头的例子可以看出，当Ax=b有解时，我们可以求出其解，其解的结构通常可以分为两部分：

3.1 特解

对方称的增广矩阵的消元变化，我们可以得到方程组的主元和自由变元，当我们将所有的自由变元置0，并且利用自由变元求出主元，我们即可获得方程组的一个特解（因为我们对自由变元设定了值，所以我们称之为特定的解）。记为x_p。

3.2通解（Null Space）

我们求解方程组Ax = b所对应的方程组Ax = 0的解，即A的Nul lSpace（A的零空间）。记为x_n。

因此，x_p + x_n为方程组的解。（此解与Ax = b的解不在于同一个空间中）



如在上面的例子中，其解是：



想象一下，x_p 是一个非原点的点，x_n 是一个穿过原点的平面，那么x_p+x_n 是两者的组合，是一个不经过原点的经过x_p 的二维平面，注意它不是子空间。

3.3 秩r与Ax = b的解的关系

对于一个m×n的矩阵A，他的秩r存在关系：r<=m,r<=n  

3.3.1. 列满秩，各列线性无关，即r=n：

     每一列都有主元，0 个自由变量，此时零空间N(A)只有零向量，因为没有自由变量能够赋值，列的线性组合无法产生0 列（回顾下第六课时和第三课时，其中3 中讲到：如果存在非0 向量x，使的Ax=0，即x对A 的列向量的线性组合可以得到0
向量（有一列在线性组合中不起作用），那么A 是不可逆的。）。Ax=b 的全部解：0 个或唯一解，如果有解，即是唯一解特解x_p。



此处没有要求n与m之间的关系，有下面的例子所示：上面的A通过消元变成行最简阶梯式，很容易看出来A 的两列线性无关，所以R 中两个主元。同时我也一眼能看出来有两个行是多余的，肯定R 下面会有两个0 行，因为行向量是2
维的，因为前两行是线性无关的，2 维平面中有两个向量线性无关，那该平面的所有向量都可以由这两个向量线性组合得到，所有会出现两个0 行。

3.3.2、r=n=m

此时，对于任意的b一定存在一个解与之对应。因为A是可逆的方阵。它的列所组成的空间能表示任意个同维度量。要想Ax=b有解，b必须在A的列空间中。


3.3.3、行满秩，即 r = m < n

此时对于任意的b都有解，它的解有无穷多个。因为存在自由变元n-r个。

3.3.4、r<m,r<n

这种情况为一般情况，它可能无解，也可能有无穷多个解。

4. 总结

总结：矩阵A 为m×n 的矩阵，Ax=b 的解的情况

r=m=n R=I 有唯一解b 是A 列向量的线性组合

r=n<m 有0 解（无解）或唯一解b 如果恰好是A 的列的线性组合则有唯一解

r=m<n 有无穷个解特解+零空间

r<m,r<n 有0 解或无穷解如果b 的行和A 的行向量之间有相同的组合关系，那有无穷解，否

则有0 解

——————————————————————————————————————————————————————————————————————————————————————————————

第九讲  线性相关性、基、维数

学习什么是”线性相关性“，“线性无关”，什么是由向量组所“生成”的空间，什么是向量空间的“基”，什么是子空间的“维数”。

由上一讲可知：Ax=b，A为m×n，其中m<n，则Ax=0存在非0解，因为A消元后存在自由列。

1.向量组线性相关性

线性无关的定义：若c1x1+c2x2+……+cnxn=0仅在c1=c2=……=cn=0
时才成立，则称向量x1，x2……xn
是线性无关的。若这些向量作为列向量构成矩阵A，则方程Ax=0 只有零解x=0。 反之，则称为线性相关。

对于矩阵中个列的线性相关性，如果零空间N(A)里存在非零向量，那么各列相关。

例如：假设二维空间中，任意三个不共线的向量必是线性相关的，因为由上面的背景知识可知，这三个向量组成

的矩阵A 是m<n 的。

2.向量组“张成”的空间

在第五讲中叙述了向量空间的基本定义。而“张成”的定义则可这样认为：
当一个空间是由向量v1，v2……vk的所有线性组合组成时，我们称这些向量张成了这个空间。如果向量v1，v2……vk张成空间S，则S
是包含这些向量组合的最小空间。 

3.基与维数

从上面2的“张成”的概念中可以得出基的概念，它包含向量的个数不多不少，向量空间的一组基是指：一系列的向量，v1,v2...vd，这些向量具有两大性质：1）他们是线性无关的，可逆；2）他们生成整个空间。
比如：三维空间中，单位阵是最明显的一个基，除此之外，还有很多其他的基，比如向量[1,1,2],[2,2,5]是生

成二维平面的一组基，再加上一个向量[3,4,8]就是三维空间的一组基。

这些基有一个共同的特点，即对于给定N 维空间，那么基向量的个数就是N 个（即不管是3 维空间，列空间，还是零空间，空间中任意基都满足：基向量的个数相等）。

维数，即基向量的个数，空间的大小(维数)。