2.6 特殊的矩阵和向量

声明：该文章翻译自MIT出版的《DEEP LEARNING》，博主会定期更新文章内容。由于博主能力有限，中间有过错之处希望大家给予批评指正，一起学习交流。

一些特殊的矩阵和向量是非常有用。

对角矩阵是只有主对角线上的元素不为零。例如：矩阵 D 是对角矩阵，当且仅当对于所有 i≠j ，di,j=0。我们已经遇到过对角矩阵的例子：单位矩阵，所有对角元素都是1。在本书中，我们用diag(v) 来表示对角方阵，它的对角元素由向量v给出。对角矩阵只关注一部分，因为乘以一个对角矩阵计算非常方便。为了计算diag(v)x ，我们只需要用vi乘以xi即可。也就是说，diag(v)x=v⊙x 反转一个方阵也是有效的。只要每个对角元素是非零的，那么逆就存在。在这种情况下，diag(v)−1=diag([1/v1,...1/vn]T)。在许多情况下，我们能够派生出任意矩阵的通用机器学习算法，但是限制矩阵为对角型后获得的是描述性较差的算法。

注意，并非所有对角矩阵需要是方阵。矩阵也可以是矩阵的。非方阵没有逆但是依然可以相乘。对于一个非方对角矩阵D，Dx 将缩放 x 的每个元素，如果D高度大于宽度，那么串联一些零到结果上，或者宽度大于高度，那么舍弃向量后面的一些元素。

对称矩阵是本身等于它的转置：A=AT当矩阵中的项是由两个参数的函数生成，且这两个参数是顺序无关的，那么常会用到对称矩阵。例如，如果A是距离测度的矩阵，其中ai,j给定点 i 到点 j 的距离，那么 ai,j=aj,i，因为距离函数是对称的。

单位向量是单位范数向量：∥x∥2=1

如果xTy=0那么向量和向量是正交的。如果向量都是非零范数，这意味着互相成九十度角。最多有个元素互相正交。如果向量不经正交而且有单位范数，我们称为单位正交。

正交矩阵是一个方阵，且行是互相单位正交的，列是互相单位正交的：ATA=AAT=I这表明：A−1=AT所以正交矩阵是非常有意思的，因为很容易计算。仔细注意正交矩阵的定义。他们的行不仅仅是正交还要单位正交。对于行或列是正交的但非单位正交的矩阵没有一个专门的术语。