前向分步算法(forward stagewise algorithm)

算法：

输入：训练数据集 T={(x1,y1),(x2,y2),⋯,(xN,yN)}；损失函数 L(y,f(x)) ；基函数集 {b(x;γ)}；

输出：加法模型 f(x) .

(1) 初始化 f0(x)=0

(2) 对 m=1,2,⋯,M

(a) 极小化损失函数(βm,γm)=argminβ,γ∑i=1NL(yi,fm−1(xi)+βb(xi;γ))得到参数 βm,γm

(b) 更新fm(x)=fm−1(x)+βmb(x;γm) (3) 得到加法模型f(x)=fM(x)=∑m=1Mβmb(x;γm)

一点说明：

AdaBoost 算法可以认为是模型为加法模型、损失函数为指数函数、学习算法为前向分步算法的二类分类学习方法。