AdaBoost(学习过程)

       Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器 (强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。使用adaboost分类器可以排除一些不必要的训练数据特征，并将关键放在关键的训练数据上面。

       首先从Boosting算法说起，Boosting算法其实是一个简单的弱分类算法提升过程，这个过程通过不断的训练，可以提高对数据的分类能力。整个过程如下所示：

        1. 先通过对N个训练样本的学习得到第一个弱分类器 ；

　　2. 将 分错的样本和其他的新数据一起构成一个新的N个的训练样本，通过对这个样本的学习得到第二个弱分类器 ；

　　3. 将 和 都分错了的样本加上其他的新样本构成另一个新的N个的训练样本，通过对这个样本的学习得到第三个弱分类器 ；

　　4. 最终经过提升的强分类器 。即某个数据被分为哪一类要通过多数表决。

        对于boosting算法，存在两个问题：

　　1. 如何调整训练集，使得在训练集上训练的弱分类器得以进行；

　　2. 如何将训练得到的各个弱分类器联合起来形成强分类器。

　　针对以上两个问题，adaboost算法进行了调整：

　　1. 使用加权后选取的训练数据代替随机选取的训练样本，这样将训练的焦点集中在比较难分的训练数据样本上；

　　2. 将弱分类器联合起来，使用加权的投票机制代替平均投票机制。让分类效果好的弱分类器具有较大的权重，而分类效果差的分类器具有较小的权重。

       Adaboost算法是Freund和Schapire根据在线分配算法提出的，他们详细分析了Adaboost算法错误率 的上界，以及为了使强分类器 达到错误率，算法所需要的最多迭代次数等相关问题。与Boosting算法不同的是，adaboost算法不需要预先知道弱学习算法学习正确率的下限即弱分类器的误差，并且最后得到的强分类器的分类精度依赖于所有弱分类器的分类精度， 这样可以深入挖掘弱分类器算法的能力。

      Adaboost算法中不同的训练集是通过调整每个样本对应的权重来实现的。开始时，每个样本对应的权重是相同的，即 其中 n 为样本个数，在此样本分布下训练出一弱分类器 。对于分类错误的样本，加大其对应的权重；而对于分类正确的样本，降低其权重，这样分错的样本就被突出出来，从而得到一个新的样本分布。在新的样本分布下，再次对弱分类器进行训练，得到弱分类器。依次类推，经过 T 次循环，得到 T 个弱分类器，把这 T 个弱分类器按一定的权重叠加（boost）起来，得到最终想要的强分类器。

　　Adaboost算法的具体步骤如下：

　　1. 给定训练样本集 ，其中 分别对应于正例样本和负例样本； 为训练的最大循环次数；

　　2. 初始化样本权重 ，即为训练样本的初始概率分布；

　　3. 第一次迭代：

　　(1) 训练样本的概率分布 下，训练弱分类器：

　　(2) 计算弱分类器的错误率：

　　(3) 选取分类器，使得错误率最小

　　(4) 更新样本权重：

　　(5) 最终得到的强分类器：




　　Adaboost算法是经过调整的Boosting算法，其能够对弱学习得到的弱分类器的错误进行适应性调整。上述算法中迭代了 次的主循环，每一次循环根据当前的权重分布对样本x定一个分布P，然后对这个分布下的样本使用若学习算法得到一个错误率为 的弱分类器 ，对于这个算法定义的弱学习算法，对所有的 ，都有，而这个错误率的上限并不需要事先知道，实际上。每一次迭代，都要对权重进行更新。更新的规则是：减小弱分类器分类效果较好的数据的概率，增大弱分类器分类效果较差的数据的概率。最终的分类器是个弱分类器的加权平均。

 

 

插入：Bagging算法：





 

个人写的仅供参考

AdaBoost代码：

 

头文件：

#ifndef _HEADER_H_

#define _HEADER_H_

#include <math.h>

//定义函数

typedef int(*h)(double*,int,double);//判决器：输入为特征和门限

void AdaBoostTrain(double *train_sample,int dimen,int N,int M,double* w,double* threshold,h op);

bool AdaBoost(double *sample,double *weight,int M,h op,double* threshold);

//弱分类器h需自己设计

//此处简单设计为每个判决器只针对某一个特征进行判决，返回值为1或-1

//也可以设计同时对几个特征判决

int determin(double* sample,int i,double threshold);

#endif

源文件：

#include "Header.h"

//判决函数设计

int determin(double* sample,int i,double threshold)

{

 if(sample[i]>threshold) return 1;

 else                    return -1;

}

/*********************************************************

AdaBoosttrain算法

Input:

   data               输入样本（已分类，包含样本正负标记）

   dimen              特征维度

   N                  样本数目

   M                  循环轮数

   w                  样本初始分布：N维

   threshold          各轮判决器门限：M个，不同判决门限代表不同判决器

   op                 判决器函数

Output：

   weight             各轮训练的判决器权重：M个                 

**********************************************************/

void AdaBoostTrain(double *train_sample,int dimen,int N,int M,double* w,double* threshold,h op,double* weight)

{

 for(int i=0;i<M;i++)

 {

  double err=0.0;

  double *feature=new double[dimen];

  int label;

  for(int j=0;j<N;j++)

  {  

  for(int k=0;k<dimen;k++)

   feature[k]=train_sample[j*(dimen+1)+k];

  label=(int)train_sample[j*(dimen+1)+dimen];

  int deter=op(feature,i,threshold[i]);//判决返回结果

  

  if(deter!=label)

   err+=w[j];

  }

  if(err==1.0) break;

  weight[i]=err/(1-err);//更新判决器权重

  double sum=0.0;

  for(int j=0;j<N;j++)//更新样本分布

     {

      if(op(feature,j,threshold[i])!=label)

    w[j]*=weight[i];

        

      sum+=w[j];

     }  

  for(int j=0;j<N;j++)//归一化样本分布

   w[j]/=sum;

  delete[] feature;

 }

 for(int i=0;i<M;i++)//调整判决器权重

 { 

  if(weight[i]==0.0) break;

  weight[i]=-log(weight[i]);

 }

}

/*********************************************************

AdaBoost算法

Input:

   data               输入样本

   weight             各判决器权重

   M                  判决器数目

   threshold          各判决器门限：M个，不同判决门限代表不同判决器

   op                 判决器函数              

**********************************************************/

bool AdaBoost(double *sample,double *weight,int M,h op,double* threshold)

{

 double sum=0.0;

 for(int i=0;i<M;i++)

  sum+=weight[i]*op(sample,threshold[i]);

 if(sum>=0.0) return true;

 else         return false;

}