您的位置：首页 > 其它

Boost家族

2014-07-07 15:14 197 查看

大师Yoav Freund在文章《A decision-theoretic generalization of on-line leanring and an application to boosting》

AdaBoost.M1（adaBoost的多分类版本）
—————————————————————————————————————————————————————
设序列

，其中

为

的标签，

，且

，

服从

分布，设

为循环次数（弱分类器的个数）。
初始化序列的权重

，

：
1.归一化:

。2.按照概率分布

，对序列进行抽样分布，形成第

次循环的训练数据集

，得到弱分类器：

。3.计算弱分类器

在数据集

的错误率

，如果

，令

，且跳出循环。4.令

（注：

）。5.令新的权重：

。（注：我们发现对于分类正确的序列，它的权重减少，分类错误的序列，权重增大）循环结束后，输出分类器映射：

。
_______________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
大师 JerRome Friedman、Tervor Hastie、Robert Tibshirani在文章《Additive Logistic Regression :a Statistical View of Boosting》，对AdaBoost.M1的二分类版本，做了更加清晰的描述。即：Discrete AdaBoost（二分类）—————————————————————————————————————————————————————设序列

，其中

为

的标签，

，且

，

服从

分布。1.初始化：

是均匀分布，即

的权重

，

。2.

: (a):按概率分布

对序列进行抽样分布，形成该次循环的训练数据集

，然后得到弱分类器

。 (b):计算错误率

,并计算

。 (c):令

，

，然后归一化

使得

，并令

。 【注：我们发现错分的样本，在下一次迭代中，权重增大】
3.输出分类器:

。—————————————————————————————————————————————————————________________________________________________________________________________________________________________________________
Real AdaBoost是Robert E. Schapire和 Yoram Singer在文章《Improved Boosting Algorithms Using Confidence-rated Predictions》中提出的，我们以下还是采用《Additive Logistic Regression :a Statistical View of Boosting》中Real Adaboost的二分类情况。Real AdaBoost（二分类）：
设序列

，其中

为

的标签，

，且

，

服从

分布。1.初始化：

是均匀分布，即

的权重

，

。2.

: (a):按概率分布