机器学习原理 || 集成算法: Adaboost

参考书籍：

周志华.机器学习 P171

​李航.统计学习方法 P137

范明译.数据挖掘导论 P168

the element of statistical learning datamining .inference and prediction P337

Anintroduction to statitic learning P316

PRML P657



这里先介绍Adaboost

Adaboost：基于加性模型迭代式优化指数损失函数

1、思想：

先从初始训练集训练出一个基学习器

根据基学习器的表现对样本分布进行调整，将分错的样本的权重增大

基于调整后的样本分布来训练下一个基学习器

反复进行，训练T个学习器，采用结合策略进行预测

2、目标函数

最小化指数损失函数

Lexp(H│D)=E(x│D)e(−yH(x))

H(x)=ΣTt=1αtht(x)

Lexp(H│D)=E(x│D)e−yH(x)	最小化损失函数
∂Lexp(H│D)∂H(x)=E(x│D)(e−yH(x)⋅(−y))	令∂Lexp(H│D)∂H(x)=0
=−eH(x)P(y=1│x)+eH(x)P(y=−1│x)
H(x)=12lnP(y=1│x)P(y=−1│x)
sign(H(x))=sign(12lnP(y=1│x)P(y=−1│x)))
该指数函数是 0-1 损失函数的替代函数

3、步骤

输入：训练集D=(x1,y1),(x2,y2),…,(xn,yn);基学习算法；训练轮数T

输出：最终分类器

过程：

1.初始化样本权值分布 D1=(w11,…,w1i,…,w1n),w1i=1n,i=1,2,…,n
fort 1,2,…,T:
2. 基于分布Dt 从数据训练集D中训练分类器ht
3. 计算ht 在训练集上的分类误差率
et=P(ht(x)≠y)=Σni=1wtiI(ht(xi)≠yi)
if et<0.5 then break ( 或者采用重采样的方法)
4. 确定分类器ht 的权重
αt=12ln1−etet
5. 更新样本分布
Dt+1=(wt+1,1,…,wt+1,i,…,wt+1,n)
wt+1,i=wtiZte(−yiαtht(x),i=1,2,…,n
end for
构建分类器的线性组合：f(x)=ΣTt=1αtht(x)
最终分类器：H(x)=sign(ΣTt=1αtht(x))

注：

1、对无法接受带权样本的基学习算法，可通过重采样处理；即根据新的样本分布对训练集进行采样

2、每轮生成基学习器时，需满足基本条件： et<0.5

3、αt 与et 的关系：当et<0.5时，αt>0, αt 随et 的减小而增大，分类误差率越小的基本分类器在最终分类器中的作用最大。