梯度下降



梯度下降

编辑
同义词
梯度下降算法一般指梯度下降

梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。
可以用于求解非线性方程组

中文名梯度下降 外文名steepest descent (gradient descent)
用 于求解非线性方程组 类 型最优化算法

目录

1

简介
2

求解过程
3

例子
4

缺点

简介编辑

梯度下降法(gradient descent)是一个最优化算法，通常也称为最速下降法。[1]

常用于机器学习和人工智能当中用来递归性地逼近最小偏差模型。

求解过程编辑

顾名思义，梯度下降法的计算过程就是沿梯度下降的方向求解极小值（也可以沿递度上升方向求解极大值）。
其迭代公式为



,其中



代表梯度负方向，



表示梯度方向上的搜索步长。梯度方向我们可以通过对函数求导得到，步长的确定比较麻烦，太大了的话可能会发散，太小收敛速度又太慢。一般确定步长的方法是由线性搜索算法来确定，即把下一个点的坐标ak+1看做是的函数，然后求满足f(ak+1)的最小值的 即可。
因为一般情况下，梯度向量为0的话说明是到了一个极值点，此时梯度的幅值也为0.而采用梯度下降算法进行最优化求解时，算法迭代的终止条件是梯度向量的幅值接近0即可，可以设置个非常小的常数阈值。

例子编辑

下面这个例子也鲜明的示例了"之字"的下降，这个例子用梯度下降法求极小值。





再举另外一个非常简单的例子，如求函数



的最小值。
利用梯度下降的方法解题步骤如下：
1、求梯度，



2、向梯度相反的方向移动



，如下



，其中，



为步长。如果步长足够小，则可以保证每一次迭代都在减小，但可能导致收敛太慢，如果步长太大，则不能保证每一次迭代都减少，也不能保证收敛。
3、循环迭代步骤2，直到



的值变化到使得



在两次迭代之间的差值足够小，比如0.00000001，也就是说，直到两次迭代计算出来的



基于没有变化，则说明此时



已经达到局部最小值了。
4、此时，输出



，这个



就是使得函数



最小时的



的取值 。
MATLAB如下。

?

缺点编辑

靠近极小值时收敛速度减慢。

直线搜索时可能会产生一些问题。

可能会“之字形”地下降。