牛顿法与拟牛顿法，SDM方法的一些注记

SDM方法

考虑一般额NLS问题：

f(x)=minx||h(x)−y||2

这里x为优化参数，h为非线性函数，y是已知变量，如下是基于梯度的迭代公式：

Δx=αAJTh(h(x)−y)

这里α是步长，A是缩放因子，Jh是h在当前参数x下的Jacobian值。

各种优化方法不同，取决于A的选择，具体为：

A=H−1表示：牛顿法

A=(JTJ)−1表示：高斯牛顿法

A=I表示：梯度下降法

但对于不可导的函数，J和H都是很难求的。

SDM的主要观点是用一个学习矩阵R去替代αAJTh,称R为通用的下降方向(Generic Descent Map(DM))。

SDM是一种迭代算法，用来学习一系列的DM.如下动画展示了SDM方法是如何从当前最优路径（虚线标注）中学习DM的。

http://xiong828.github.io/pics/sdm-animation-all.gif

牛顿法与拟牛顿法

本章可以参考文献《牛顿法与拟牛顿法学习笔记》