机器学习入门(12)--线性回归之正规方程



申明：此文章内容来自于 Doctor AndrewNG的视频，经过编辑而成

到目前为止 我们一直在使用的线性回归的算法 是梯度下降法。 就是说为了最小化代价函数 J(θ) ，我们使用的迭代算法需要通过多次迭代来计算梯度下降来收敛到全局最小值。

相反地 正规方程法提供了一种求 θ 的解析解法。与其使用迭代算法，我们可以直接一次性求解θ的最优值。

这么牛的算法，让我们先对这个算法有一个直观的理解。举一个例子来解释这个问题, 假设有一个非常简单的代价函数 J(θ)，它就是一个实数 θ 的函数。

所以现在 假设 θ 只是一个标量 或者说 θ 只有一行 它是一个数字 不是向量 假设我们的代价函数 J 是这个实参数 θ 的二次函数，



二次代价函数

所以 J(θ) 如下图：



二次代价函数曲线

那么如何最小化一个二次函数呢? 最小化的一个函数的方法是 对它求导并且将导数置零，所以对 J 求关于 θ 的导数使得 J(θ) 最小的 θ 值。当 θ不是一个实数的情况，它是一个n+1维的参数向量并且 代价函数 J 是这个向量的函数也就是 θ0 到 θm 的函数，如下图：



多变量代价函数

那么我们如何最小化这个代价函数J? 实际上 微积分告诉我们一种方法，对每个参数 θ 求 J 的偏导数，然后把它们全部置零。如果你这样做并且求出θ0 θ1 一直到θn的值，就能得到能够最小化代价函数 J 的 θ 值，如下图：



偏导数置为0

那么，到底算法是什么呢，我们先给出答案再来推到。正规方程是通过求解下面的方程来找出使得代价函数最小的参数的：假设我们的训练集特征矩阵为 X（包含了 x0=1）并且我们的训练集结果为向量y，则利用正规方程解出向量。上标T代表矩阵转置，上标-1代表矩阵的逆。



正规方程

举个例子说明推导过程，假如说我有 m=4 个训练样本，如下图：



示例训练集

接下来我要做的是构建一个矩阵 X 这个矩阵基本包含了训练样本的所有特征变量，所以具体地说所有的特征变量全部放到矩阵中 X 中，如下图：



X矩阵

对于Y类似，



Y矩阵

利用正规方程的算法为：



正规方程算法

注:对于那些不可逆的矩阵(通常是因为特征之间不独立,如同时包含英尺为单位的尺寸和米为单位的尺寸两个特征,也有可能是特征数量大于训练集的数量),正规方程方法是不能用的。

针对梯度下降与正规方程的比较，结果如下：



梯度下降与正规方程比较

总结一下，只要特征变量的数目并不大，正规方程是一个很好的计算参数θ的替代方法。具体地说，只要特征变量数量小于一万，我通常使用标准方程法，而不使用梯度下降法。所以，根据具体的问题，以及你的特征变量的数量，这两种算法都是值得学习的。