最优化理论中的方法概述

最优化方法首先可以分为：随机搜索方法与确定型优化方法。

1. 随机搜索方法：元启发式方法，例如遗传算法，人工神经网络，模拟退火算法等。

2. 确定型方法：模式搜索方法，梯度搜索方法。

2.1 模式搜索方法：根据函数值的变化规律寻找最优值，例如单纯形法

2.2 梯度搜索方法：根据函数的梯度求解，可以分为线搜索方法与信赖域搜索方法

2.2.1 线搜索方法：利用黑塞矩阵，梯度，确定搜索方向与步长，包括最速下降法，牛顿法，乘子法等。

2.2.2 信赖域方法：在一个区域内寻找最优的下降方向和步长。