清华大学公开课线性代数2——第1讲：正定矩阵

此博客停止更新迁移至SnailDove’s Blog，查看本文点击 此处

笔记源自：清华大学公开课：线性代数2——第1讲：正定矩阵，涉及：正定矩阵、二次型、合同、惯性定理、Hessian

提示：如果文中图片看不清文字，请右键单击鼠标，选择在新窗口打开图片，然后放大图片（这边上传之前都是可以看清的，由于网页正文部分大小固定，因此图片被自动缩小以便适配网页），截图部分是课堂ppt老师随手的板书。

目录

目录

引言

主子式

实对称矩阵A正定的充要条件
证明
典型例子

正定矩阵的性质
如果AB是正定矩阵那么AB也是正定矩阵

如果A为正定矩阵则存在矩阵C满足AC2

如果A为正定矩阵则矩阵A的幂也是正定的

如果A为正定矩阵矩阵C那么BCTAC也是正定的

半正定矩阵的判别条件

二次型
定义

例子

对角形
二次型化成对角形

主轴定理principal axis theorem

有心二次型central_conic

三维空间中的二次曲面-6类基本的二次曲面

二次型的分类

二次型与特征值

二次型的一个应用求二次型的几何形状

合同congruent
前言

定义

例子

主轴定理与合同

合同的性质

惯性定理Sylvesters law of inertia的证明

惯性定理的应用

正负定矩阵在函数极值中的应用
黑塞Hessian矩阵

引言

矩阵特征值的正负在求解微分方程和差分方程时，会影响解是否收敛，例如上图如果λi<0λi<0那么eλiteλit 随着t→∞,eλit→0t→∞,eλit→0

主子式

实对称矩阵A正定的充要条件

下列6项条件，满足任意一项即可判定实对称矩阵AA为正定矩阵：

证明

(1)⇒(2):(1)⇒(2): 对实对称矩阵AA，那么存在正交阵QQ，使得AQ=QΛ→A=QΛQTAQ=QΛ→A=QΛQT，其中Λ=diag(λ1,...,λn)Λ=diag(λ1,...,λn)。于是对于任意非零向量xx，有xTAx=xTQΛQTx=yTΛy=λ1y12+...+λnyn2>0,y=QTx=(y1,...,yn)≠0⃗ xTAx=xTQΛQTx=yTΛy=λ1y12+...+λnyn2>0,y=QTx=(y1,...,yn)≠0→

(2)⇒(1):(2)⇒(1): 设Ax=λx(x≠0)Ax=λx(x≠0) 则0<xTAx=xTλx=λ||x||20<xTAx=xTλx=λ||x||2，因此所有λi>0λi>0。

(2)⇒(3):(2)⇒(3): 由于行列式等于矩阵特征值的乘积，故(2)⇒(1)⇒(3)detA=λ1...λn>0(2)⇒(1)⇒(3)detA=λ1...λn>0 ：

(2)0<(xTk0)(Ak∗∗∗)(xk0)=xkTAkxk=xkT⎛⎝⎜⎜⎜⎜⎜⎜λ1...λk⎞⎠⎟⎟⎟⎟⎟⎟x,(1≤k≤n)⇒(1)λi>0,(1≤i≤k,1≤k≤n)⇒(3)detAk>0,(1≤k≤n)(2)0<(xkT0)(Ak∗∗∗)(xk0)=xkTAkxk=xkT(λ1...λk)x,(1≤k≤n)⇒(1)λi>0,(1≤i≤k,1≤k≤n)⇒(3)detAk>0,(1≤k≤n)

(3)⇒(4)(3)⇒(4)：顺序主子式与主元有直接联系，因为第k个主元dk=detAkdetAk−1dk=detAkdetAk−1，所以(3)⇒(4)dk>0(3)⇒(4)dk>0，其中AkAk是第kk个顺序主子矩阵（the k-th leading principal sub-matrix）。

(4)⇒(2)(4)⇒(2)：由对称矩阵的Gauss消元法得A=LDLTA=LDLT且对角阵D=diag(d1,...dn)D=diag(d1,...dn) 的对角元为A的主元，LL是下三角矩阵，LTLT 是上三角矩阵，而且根据分解结果知道LL的主对角线上全元素为1，也即LTLT的主元全为1，即LTLT行列式为1且是方阵，那么这俩都可逆。因为(4):d1,...,dn(4):d1,...,dn大于0，那么到：x≠0⇒y=LTx≠0⇒xTAx=xTLDLTx=yTDy=d1y21+...+dny2n>0x≠0⇒y=LTx≠0⇒xTAx=xTLDLTx=yTDy=d1y12+...+dnyn2>0 。

可逆矩阵齐次方程只有零解

(2)⇒(5)(2)⇒(5)：A=LDLT=LD−−√D−−√LT=(D−−√LT)T(D−−√LT)A=LDLT=LDDLT=(DLT)T(DLT)，此时可取R=D−−√LTR=DLT，因为D−−√,LTD,LT 都可逆且都是方阵，由于(2)⇒(3)⇒(4)(2)⇒(3)⇒(4) ，因此D−−√>0D>0，且有上面推导得|LT|>0|LT|>0， 可逆矩阵乘积还是可逆。

根据行列式性质：|A||B|=|AB||A||B|=|AB|, 当A,BA,B 均可逆，那么|A|>0,|B|>0→|AB|>0|A|>0,|B|>0→|AB|>0, 所以ABAB也可逆。

或者：A=QΛQT=QΛ−−√Λ−−√QT=(Λ−−√QT)(Λ−−√QT)A=QΛQT=QΛΛQT=(ΛQT)(ΛQT)，此时可取 R=Λ−−√QTR=ΛQT ，同理可得。

(5)⇒(2)(5)⇒(2)：A=RTR⇒xTAx=xTRTRx=(Rx)TRx=||Rx||2≥0A=RTR⇒xTAx=xTRTRx=(Rx)TRx=||Rx||2≥0且RR是列满秩，除了x=0x=0之外，其余 xTAx=||Rx||2>0xTAx=||Rx||2>0，即(5)⇒(2)(5)⇒(2)

(6)⇐⇒(2)(6)⇐⇒(2):

典型例子

正定矩阵的性质

如果A,BA,B是正定矩阵，那么A+BA+B也是正定矩阵

如果AA为正定矩阵，则存在矩阵CC，满足A=C2A=C2

如果AA为正定矩阵，则矩阵AA的幂也是正定的

如果AA为正定矩阵，矩阵CC，那么B=CTACB=CTAC也是正定的

注：其实B称为A的合同矩阵

半正定矩阵的判别条件

二次型

定义

注意：这里证明里面 A−AT2A−AT2 是反对称矩阵，利用反对称矩阵性质，所以 xTA−AT2x=0xTA−AT2x=0 。二次型与判定正定矩阵的第二条准则密切相关。

例子

对角形

二次型化成对角形

注：由于实对称矩阵AA可以与二次型一一对应，因此，可以借助实对称矩阵研究二次型。

主轴定理principal axis theorem

有心二次型central_conic

三维空间中的二次曲面-6类基本的二次曲面

R3R3种的二次曲面的方程形如:

a11x2+a22y2+a33z2+2a12xy+2a13xz+2a23yz+b1x+b2y+b3z+c=0a11x2+a22y2+a33z2+2a12xy+2a13xz+2a23yz+b1x+b2y+b3z+c=0.













注：由于二次型可以与实对称对称矩阵一一对应，二次型里面又包括二次曲面，所以实对称矩阵可以跟二次曲面对应起来。

二次型的分类

二次型与特征值

二次型的一个应用——求二次型的几何形状

把二次型的部分去化成对角形的标准型，相应的这个一次项也作了变换，于是再做配方然后去跟基本的形状做比较得出这个曲面的几何形状，这是二次型的一个应用。

合同congruent

前言

注：非退化矩阵即满秩矩阵

定义

例子

主轴定理与合同

合同的性质

证明:

矩阵AA左乘可逆矩阵CTCT相当于做初等行变换，右乘以可逆矩阵CC相当于做初等列变换，因此根据消元法知道并不改变矩阵AA的秩。对称性保持证明在于二次型定义可以看到。

1.利用初等变换不改变矩阵的秩，因为可逆矩阵可以表示为初等矩阵的乘积，而A乘初等矩阵相当于对A作初等变换，所以A的秩不变-。这个方法包括了可逆矩阵左乘A，右乘A，或是左右同时乘A

2.利用 r(AB)

惯性定理Sylvester’s law of inertia的证明

惯性定理的应用

正负定矩阵在函数极值中的应用

以二元函数f(x,y)f(x,y)为例：设(x0,y0)(x0,y0)是二元函数f(x,y)f(x,y)的一个稳定点，即：∂f∂x(x0,y0)=∂f∂y(x0,y0)=0∂f∂x(x0,y0)=∂f∂y(x0,y0)=0。如果f(x,y)f(x,y)在(x0,y0)(x0,y0)的领域里有三阶偏导数，则f(x,y)f(x,y)在(x0,y0)(x0,y0)可展开成Talor级数：

黑塞Hessian矩阵

黑塞矩阵（Hessian Matrix），又译作海森矩阵、海瑟矩阵、海塞矩阵等，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。黑塞矩阵最早于19世纪由德国数学家Ludwig Otto Hesse提出，并以其名字命名。黑塞矩阵常用于牛顿法解决优化问题，利用黑塞矩阵可判定多元函数的极值问题。在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数，此时函数在某点泰勒展开式的矩阵形式中会涉及到黑塞矩阵。