线性变换基础（终极理解汇总）

特征值的含义

在数学上，特别是线性代数中，对于一个给定的线性变换A，它的特征向量v（eigenvector，也译固有向量或本征向量），经过这个线性变换之后，得到的新向量仍然与原来的v保持在同一条直线上，但其长度或方向（正负号改变方向）也许会改变。即，

Av=λv

λ为标量，即特征向量的长度在该线性变换下缩放的比例，称λ为其特征值。如果特征值为正，则表示v在经过其线性变换作用后方向不变，如果特征值为负，说明方向会反转，如果特征值为0，则表示会缩回零点。但无论怎样，仍在同一条直线上。

可对角化矩阵是：如果一个方块矩阵 A 相似于对角矩阵，也就是说，如果存在一个可逆矩阵 A使得P−1AP是对角矩阵，则它就被称为可对角化的。对角化是找到可对角化矩阵或映射的相应对角矩阵的过程。

线性无关与正交的关系？

正交必定线性无关，线性无关不一定正交。

例如：在二维空间中，两条不平行的线是无关的，但不是正交的；相互垂直的两条线是正交的，同时也是无关的。

特征值与特征向量的物理意义？

线性代数中的正交化指的是：从内积空间（包括常见的欧几里得空间）中的一组线性无关向量v1，…，vk出发，得到同一个子空间上两两正交的向量组u1，…，uk。如果还要求正交化后的向量都是单位向量，那么称为标准正交化。一般在数学分析中采用格拉姆-施密特正交化作正交化的计算。

对于一个N阶方阵进行特征分解，然后正交化，就会产生该空间的N个标准正交基，然后矩阵投影到这N个基上，N个特征向量就是N个标准正交基。而特征值得模，则代表矩阵在每个基上的投影长度。特征值越大，说明矩阵在对应的特征向量上的方差越大，信息量越多。

最优化中，意思是对R的二次型，自变量在这个方向的上变化的时候对函数的影响最大，也就是该方向上的方向导数最大。

在数据挖掘和机器学习中，最大的特征值对应的特征向量方向上包含最多的信息量，如果几个特征值很小，说明这几个方向信息量很小，可以用来降维，也就是删除小特征值对应方向的数据，只保留大特征值方向对应的数据，这样做以后，数据量减小，但信息量变化不大。

特征向量相互正交（相当于欧式几何坐标基轴）

数据维度与特征个数相对应。

特征向量一定正交吗？

不同的特征值对应的特征向量线性无关

实对称矩阵的不同的特征值对应的特征向量正交

同一个特征值的不同特征向量未必正交, 但可将其线性无关的特征向量正交化

对称矩阵的特征向量一定正交吗？

不一定。对称阵中，不同的特征值对应的特征向量正交，但是会出现重根的情况，这个时候就不正交了。

矩阵的迹 的性质

* 迹是所有对角元的和

* 迹是所有特征值的和

* trace(AB)=trace(BA)

矩阵特征值的个数与什么有关？

* 矩阵的秩与矩阵的特征值个数是没有关系的。

* n阶矩阵在复数范围内，一定有n个特征值（重特征值按重数计算个数），从这个意义上说，矩阵的特征值个数与矩阵的阶数倒是有关系的。n阶矩阵在实数范围内有多少个特征值就不一定了。

* 但是有一个重要的结论需要知道：n阶实对称矩阵一定有n个实特征值（重特征值按重数计算个数）。

矩阵的秩与矩阵含有特征值0的个数却是有关系的

对角阵求逆

前提是对角矩阵可逆,即对角线上每个元素均不为0

它的逆为：分别将每个元素取倒数