读书笔记 “Deep Learning by Bengio” 之 Applied Math and Machine Learning Basics (1)

线性代数部分：（很浅显）

1. 标量，向量，矩阵，张量

标量即单独一个数值，一般以小写字母表示，如a.

向量即由一组数值组成，一般以小写字母加粗表示，如a.可由下标表示其中的每个元素。

矩阵为二维数组组成，一般以大写字母加粗表示，如A。

张量在深度网络中最为常见，指2维以上的数组。

python中的numpy库多用于这些数据类型的计算。

2. 矩阵与向量乘法(符合结合律）

Ax=b (机器学习经典格式，x即我们要求的对输入A的特征提取model)

3.单位矩阵和逆矩阵

x=b*逆(A)

4.线性相关，范围，秩

线性相关(独立）：指矩阵中某些行的意义相同，可以通过线性变化消解成一样的。

Ax=B若有解，A(m*n),b(m), 则要求B存在于A所有的线性组合范围里，因此n>=m。且A的m行必须线性独立。

若对于任何b，x都有解，需要n<=.m,则综合上一条，n=m,即A为方阵，且A的行都先行独立。

每行都线性独立的方阵叫非奇异阵，否则为奇异阵（singular).

因此，可逆矩阵=非奇异矩阵。

注意：A是非奇异阵一定有解，但是不是的话也能求出解，但不是通过求逆的办法。