最优化问题的相关笔记
2015-03-20 17:21
127 查看
最优化问题在机器学习中,是寻找最佳的模型问题。
模型拟合都可以用最大似然函数求最值解决。
但是不是所有模型都可以直接用此方法,因为很多目标函数可能存在多个局部极值,导致无法直接求最值。
这时候一个聪明的做法是,转为对偶的凸函数或其他可解的问题寻优。
SVM就是利用对偶函数的凸二次规划问题求解,得到全局最优解。
但是数学上的NP难问题,一般只能用启发式算法寻优,得到次优解。
最小二乘法:通过最小化误差的平方和寻找数据的最佳函数匹配。
模型拟合都可以用最大似然函数求最值解决。
但是不是所有模型都可以直接用此方法,因为很多目标函数可能存在多个局部极值,导致无法直接求最值。
这时候一个聪明的做法是,转为对偶的凸函数或其他可解的问题寻优。
SVM就是利用对偶函数的凸二次规划问题求解,得到全局最优解。
但是数学上的NP难问题,一般只能用启发式算法寻优,得到次优解。
最小二乘法:通过最小化误差的平方和寻找数据的最佳函数匹配。
相关文章推荐
- 【技术贴】IIS相关问题解决笔记。
- Android开发笔记之:深入理解Cursor相关的性能问题
- C++学习笔记——继承相关问题
- [原创]java WEB学习笔记72:Struts2 学习之路-- 文件的上传下载,及上传下载相关问题
- Cocos2d-x相关问题笔记
- 在 centos 5.2 系统安装 Oracle 10g 笔记和相关问题解决
- 读彬彬有礼压缩感知相关论文笔记4——凸优化问题
- Android开发笔记之:深入理解Cursor相关的性能问题
- Qt中文相关问题笔记
- jQuery学习笔记(二):this相关问题及选择器
- Android笔记:Fragment相关问题
- delphi相关笔记-与DBlookupcombobox的相关问题
- 【笔记一】C++相关问题摘录
- mysql数据库相关问题笔记
- WeX5学习笔记-创建本地APP相关问题
- Jeff Kotaoka 的笔记:解决在并行编程中与内存相关的瓶颈问题
- Hibernate应用笔记 相关问题
- Django笔记-字符编码相关问题整理
- Android sd相关笔记 - Android4.4上应用写sd卡问题
- 【编码】字符集与编码意义与关系、java编程编码问题相关学习笔记