强分类器（提升方法）-----------AdaBoost算法原理和推导过程

    备注本文参考李航老师的统计学习方法第8章

   提升方法的基本思路：对于复杂任务来说，将多个专家的判断进行综合所得的判断，要比其中任何一个专家的判断好，

其实就是三个臭皮匠顶个诸葛亮的道理，提升方法是从弱学习算法出发，反复学习得到一系列的分类器，然后组合这些

弱分类器构成一个强分类器。大多数的提升方法都是改变训练数据集的概率分布，针对不同的训练数据分布调用弱学习

算法学习一系列的弱学习算法。其基本拓扑图如下



所以Adaboost主要分两步，第一基本分类器怎么形成，第二ai的值怎么确定，接下来就介绍Adaboost的求解过程

1.AdaBoost算法

输入：训练数据集T={（x1,y1）,(x2,y2),...,(xn,yn)},其中每个样本点由实例和标记组成，AdaBoost利用一下算法，从训练数据中

学习一些列弱分类器或基本分类器，并将这些弱分类器线性组合成一个强分类器。







实现AdaBoost例子：假设有数据集如下



能使数据分成两类的x取值范围分布，











到此Adaboost的基本求解过程已完成，后续增加提升树算法的推到过程