最优化方法--概述

一个简单的问题描述如下：周长一定，围成怎样的形状能使得面积最大。

公元前212~187年，古希腊数学家阿基米德(Archimedes)就曾证明了已知周长，圆所包围的面积最大的等周问题。这算是一个基本的最优化问题。

最优化方法定义：应用数学的重要研究领域。它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。

简单来说，即以最优化数学模型来解决实际运用中的各种最优化问题。

一般数学模型：

其中的X为n维向量，为实际运用中的解。

s.t.为英文subject to的缩写，表示受限于。

F(x)称为目标函数，如上式，我们要求f(x)的最小值。

H(x)为等式约束；g(x)为不等式约束。

分类：

根据目标函数与约束函数的不同形式，可以把最优化问题分为不同的类型。

1）根据约束函数，可分为：无约束最优化，等式约束最优化，不等式约束最优化。

2）根据目标函数与约束函数类型分类：若f(x),h(x),g(x)都是线性函数，则称为线性规划；若其中至少有一个为非线性函数，则称为非线性规划。

3）另外，对于特殊的f(x),h(x),g(x)，还有特殊的最优化问题。

目标函数为二次，约束全为线性：二次规划。

目标函数不是数量函数而是向量函数：多目标规划。

下降算法：

对于无约束的最优化问题，我们通常给定一个初始的可行点x0，由这个可行点出发，依次产生一个可行点列，x1,x2…xk,使得某个xk恰好是问题的一个最优解，或者该点列收敛到最优解。也就是选取一个可行的方向，再往这个方向行进。这种方法称为下降算法。

在迭代中，要求f(xk+1)<f(xk).

在下降算法中，基本的问题有两个：方向与步长。

对于性能的衡量，也有：收敛于不收敛，局部最优与全局最优。

常见的下降算法有：

最速下降法，Newton法，共轭方向法和共轭梯度法，拟Newton法，Powell方向加速法等。

有约束的最优化问题则可以通过拉格朗日乘数转化为无约束最优化问题。

其他一些流行的方法有：

模拟退火，遗传算法，类免疫算法，演化策略，神经网络，支持向量机等。

解析法与最优性条件：

不同于前一部分通过迭代求解的方法，我们可以通过一些数学知识来直接求解最优化问题的最优点，这种方法称为解析法。比如我们一阶函数求导得极值的方法。

所谓的最优性条件，也就是最优点满足的条件。

不过，一般情况下，很难直接通过最优性条件求解最优化问题。但是最优性条件的研究，对于问题的求解以及判定结束状态都有帮助。

以下面无约束优化的最优性条件为例：

对于：


根据微积分的知识，我们有如下结论：



也就是无约束最优化问题的最优性条件；相应的我们还有等式约束最优化问题，不等式约束最优化问题的最优性条件。