《统计学习方法》笔记（八）--最大熵模型

定性：针对分类问题的一种判别式模型

最大熵原理：本来它是一个概率模型学习的准则，具体如下:学习概率模型时，在所有可能的概率分布中，熵最大的模型是最好的模型。

熵最大原理认为，在选择模型的时候，我们首先要考虑实际问题的约束条件，在充分考虑约束之后如果模型还有多种可能，我们要选择其中熵较大的那个（通常会用到均匀分布，即使得各种取值等可能性，这种情况被证明熵最大）。

最大熵模型：所有满足时约束条件的模型P(Y|X)中熵最大的模型。

最大熵模型的学习即是一个约束最优化的求解问题，我们通常把它转换为对偶问题来求解（也是最大熵模型的极大似然估计）

模型学习的优化算法有改进的迭代尺度法和拟牛顿法。