最小二乘与梯度下降的关联与区别

不同点

最小二乘是指的列出最佳拟合的函数，梯度下降是一种求极值的一种方法。两者有本质区别。

最小二乘

最小二乘直接对其中每个θ求偏导数，如下图：



如上图可以看出，其不需要迭代计算。

梯度下降

经变换后算法：



α为步长。以上为迭代算法，缺点是在接近最小点时，收敛变慢。

附矩阵形式的算法，为非迭代：



X向量是训练集的特征向量，Y向量是训练集的真实值向量