机器学习数学基础---牛顿法、拟牛顿条件、DFP算法、BFGS算法、L-BFGS算法
2017-12-31 23:49
351 查看
基本资料转自：
牛顿法、拟牛顿条件、DFP算法、BFGS算法、L-BFGS算法
不用二阶偏导数而构造出可以近似Hession矩阵或Hession矩阵的逆的正定对称阵，在拟牛顿的条件下优化目标函数。
牛顿法、拟牛顿条件、DFP算法、BFGS算法、L-BFGS算法
梯度下降法：
牛顿法：
拟牛顿法：
基本思想是：不用二阶偏导数而构造出可以近似Hession矩阵或Hession矩阵的逆的正定对称阵，在拟牛顿的条件下优化目标函数。
DFP算法
BFGS算法
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 深度学习/机器学习入门基础数学知识整理（三）：凸优化，Hessian，牛顿法
- 机器学习数学基础--牛顿法
- （转）机器学习的数学基础（1）--Dirichlet分布
- 机器学习笔记——基础数学篇
- 机器学习：LDA_数学基础_5：变分推断：变分推断部分
- 机器学习笔记_数学基础_6-矩阵方程组的求解与最小二乘定义
- 【ML学习笔记】2：机器学习中的数学基础2(琴生不等式,概率公式,统计量)
- 人工智能、机器学习及数学基础经典著作24本PDF下载地址(个别无链接请购买)
- 机器学习-->数学基础
- 机器学习的数学基础：向量篇
- 机器学习：LDA_数学基础_2：贝叶斯数学：先验分布的选择
- 机器学习笔记_数学基础_3-数理统计
- 机器学习数学基础（二）概率论（下）
- 机器学习理论篇1：机器学习的数学基础
- 机器学习深入与强化--数学基础(3)
- 机器学习的数学基础（1）--Dirichlet分布
- 机器学习的数学基础（1）
- 【机器学习数学基础之概率论01】贝叶斯公式
- 机器学习笔记_数学基础_5-矩阵理论
- 机器学习相关的数学基础