牛顿法以及雅克比矩阵、海森矩阵(Hessian)数学方法。
2017-04-09 14:10
741 查看
一般来说, 牛顿法主要应用在两个方面,
1, 求方程的根; 2, 最优化。
1,求方程的根
其原理便是使用泰勒展开,然后去线性部分,即:
(1)
然后令上式等于0,则有:
(2)
经过不断迭代:
(3)
当精度达到要求的时候停止迭代。
迭代示意图如上所示。
2,最优化
最优化一般是求极大或极小问题,这可以转变为求导数零点,然后转变为求方程的根的情形。
即f' = 0;
把f(x)用泰勒公式展开到二阶,即:
(4)
等号左边和f(x)近似相等,抵消。然后对
求导,得到:
(5)
更进一步:
(6)
然后得到迭代式子:
(7)
以上只针对单变量进行讨论,如果对多变量就要引入雅克比矩阵和海森矩阵
简单介绍一下二者,雅克比矩阵为函数对各自变量的一阶导数,海森矩阵为函数对自变量的二次微分。形式分别如下:
把两个矩阵代入(7)中
参考文献:
Newton's
method -- wikipedia
Jacobian矩阵和Hess
a49b
ian矩阵
1, 求方程的根; 2, 最优化。
1,求方程的根
其原理便是使用泰勒展开,然后去线性部分,即:
(1)
然后令上式等于0,则有:
(2)
经过不断迭代:
(3)
当精度达到要求的时候停止迭代。
迭代示意图如上所示。
2,最优化
最优化一般是求极大或极小问题,这可以转变为求导数零点,然后转变为求方程的根的情形。
即f' = 0;
把f(x)用泰勒公式展开到二阶,即:
(4)
等号左边和f(x)近似相等,抵消。然后对
求导,得到:
(5)
更进一步:
(6)
然后得到迭代式子:
(7)
以上只针对单变量进行讨论,如果对多变量就要引入雅克比矩阵和海森矩阵
简单介绍一下二者,雅克比矩阵为函数对各自变量的一阶导数,海森矩阵为函数对自变量的二次微分。形式分别如下:
把两个矩阵代入(7)中
参考文献:
Newton's
method -- wikipedia
Jacobian矩阵和Hess
a49b
ian矩阵
相关文章推荐
- 牛顿法、雅克比矩阵、海森矩阵
- 牛顿法、雅克比矩阵、海森矩阵
- 求约瑟夫环问题最后胜利者的一般解法以及数学推导方法
- 编程中常用的数学方法以及常数
- 牛顿法、雅克比矩阵、海森矩阵
- 20170227. 牛顿法,Hessian矩阵、雅克比矩阵
- SAT数学考试答题步骤以及方法
- 牛顿法、雅克比矩阵、海森矩阵
- 牛顿法、雅克比矩阵、海森矩阵
- 【math】梯度(gradient)、雅克比矩阵(Jacobian)、海森矩阵(Hessian)
- Hessian海森矩阵与牛顿最优化方法
- 深度学习/机器学习入门基础数学知识整理(三):凸优化,Hessian,牛顿法
- Win2003 下 IIS6 的一些错误以及解决方法
- DoS攻击原理以及常见方法介绍(一)
- 使用java mail 包收发中文邮件的编码,解码问题以及解决方法
- Re: 请教大家读数学书的方法
- Redhat 7.2, 9 以及Redhat 企业服务器上安装Oracle9.2和Oracle10g的方法
- window.open的使用方法以及参数说明
- Delphi中编写OwnerDraw方式按钮的方法以及注意点
- 利用反射机制得到一个类的方法,变量,以及构造函数