boosting

boosting流程：



1）如何开始。选择一个弱分类器，只要比随机猜测好一点点就可，也就是说a>0即可。
2）前面算法如何影响后续算法，或者说，如何进行算法的提升。
前面算法的系数w会根据一定的算法修改从而形成后续算法的系数，所以如何修改系数w是非常关键的。不同的损失函数（算法的预测值和数据的实际值之差）以及如何极小化损失函数的方法决定了如何更新系数w，同时决定了boosting的最终效果，几个常见的boosting：



3）最终的算法表现形式：


其中

，而e为算法错误率，如果e<0.5那么a>0，e越小（错误越少）a越大（权重越高），该算法在最终结果中约有话语权。