线性模型

线性模型

线性回归

　　线性回归是线性模型中最基础的问题，有两种推出最小二乘法的方法——误差L2范数最小与假设误差服从正态分布(高斯的元误差理论认为，误差是由元误差叠加而来，由中心极限定理知，多个独立同分布的元误差之和的误差应该服从正态分布)做对权重的最大似然估计。

　　容易证明，两种方法导出的结论一致。

　　

　　下面用L2范数最小的几何意义导出线性回归的最小二乘法。

最常见的广义线性模型——sigmoids类/softmax激活函数感知器

　　sigmoids类/softmax激活函数的感知器是一种线性对数似然比模型，也是最常见的广义线性模型，下面证明，在误差正态分布的假设(同上一段，高斯的元误差理论和中心极限定理保证了这一点)下，可以推出这个激活函数的确对应概率分布。也就解释了神经网络，感知器，logistic回归中sigmoids类/softmax激活函数的理论依据。

　　

LDA