Adaboost训练过程的详解

Adaboost 总结
1、 概述
Adaboost简单来说就是将多个分类器整合成一个分类器，是boosting的扩展和延续。是一种迭代算法，在每一轮加入一个新的弱分类器，直到达到某个预定的足够小的错误率，最后得到一个由多个弱分类器组成的强分类器。每一个样本在训练时都被赋予一个权值，表明它被某个分类器选入训练集的概率。如果某个样本点已经被正确分类，那么在构造下一个训练集时，它的相应的权值就会降低。相反，如果它被错分，那么它的权值就会得到提高。改变数据分布，它根据每次训练集中样本的分类结果，以及上次的总体分类结果，来确定训练样本的权值，将修改权值的新数据作为下一次训练的样本。
在具体实现上，最初令每个样本的权重都相等，对于第k次迭代操作，我们就根据这些权重来选取样本点，进而训练分类器Ck。然后就根据这个分类器，来提高被它错分的样本的权重，并降低被正确分类的样本权重。然后，权重更新过的样本集被用于训练下一个分类器Ck。整个训练过程如此迭代地进行下去。最后，把所有的分类器Ck线性组合起来。伪代码如图1所示。

图1、adaboost伪代码图
2、 弱分类器的产生

其中f为特征，为阈值，p指示不等号的方向，x代表一个检测子窗口，对于每个特征f，训练一个弱分类器h，就是确定f的最优阈值，使得这个弱分类器h对所有的训练样本的分类错误率最低。步骤如下：
1)、对于每一个特征f，计算所有样本的特征值，并将其进行排序，对于排好序的表中的每个元素，计算：

（1）全部正样本权重的和t1；
（2）全部负样本权重的和t0；
（3）在此元素之前的所有正样本的权重的和s1；
（4）在此元素之前的所有负样本的权重的和s0；
2）、最后求得每一个元素的分类误差：
（公式2）
在表中寻找分类误差r的最小值所对应的元素，将该元素作为最优的阈值，此时一个最优的弱分类器就诞生了。
3、 强分类器的诞生
（1）给定样本集S，T为训练的最大循环次数；
（2）初始化样本的权重；
（3）进行第一次迭代训练得到第一个分类器；
（4）根据上次分类的结果，从新改变样本权重；
（5）将新的样本和上次错分的样本放在一起进行新一轮的训练；
（6）重复（4）和（5），最后得到T个最优弱分类器；
（7）组合T个最优弱分类器得到强分类器：

4、 一些参数的求解公式
<1>，为第t个弱分类器相对应的权值
<2>,其是第i个弱分类器的带权值分类误差，表示i次更新后样本K的权重。

<3>样本权重的更新