Levenberg-Marquardt Algorithm

对于最小二乘问题，我们的优化目标是：


1

上面公式中的1/2是为了求导时看起来更美观这里：


2

r的雅克比矩阵：


3

有了雅克比矩阵，我们可以在计算梯度函数时，非常方便：


4

上面的结尾可以知道：有了雅克比矩阵，就知道了hessian矩阵的一部分，并且不增加计算量（这很重要），并且也正是因为这一点算法可以高效的解决最小二乘问题。要理解这一点，请记住，对于其他所有基于梯度下降的算法，我们都是通过泰勒级数（最高到2阶,hessian项）来近似求解函数。

泰勒级数：


5

如果||r(x)||是x的线性函数（f(x)就是二次函数），那么其雅克比矩阵就是常数，并且

6

对所有的j成立。

在这里，替换公式4中的两个公式到泰勒级数并求导：


7

同样：


8

这是一个线性最小二乘问题，有解。在理想情况下我们可以看到，这就是一个：Ax = b （在这里A = Jt*J是一个方阵，b = -Jt*r(x)）,并能够直接求解：


9

然后这样计算量很大，并且在数值上很不稳定，所有我们需要用线性代数使用不同的方法来找到x的解，例如Cholesky 分解，QR分解，或者是SVD。我们将使用SVD，SVD分解如下：


10

U、V是正交矩阵，为了将他应用到最小二乘问题我们计算Jt*J的SVD分解，并替换掉公式8：


11

在这里ABt = BtAt。

我们可以更深入一点，在这里J不是方阵的情况。（未完，待续）