【机器学习基础】混合和装袋

融合模型(Aggregation Model)

如果我们已经得到了一些特征或者假设，它们和我们做机器学习的目标有若干的一致性的话，我们可以将这些假设综合起来，让预测效果变得更好，这样的模型被称为融合模型。

融合模型是通过混合(mix)和组合(combine)一些假设的方式，得到更好的预测结果。

下面列举了四种不同的混合组合方式，并给出了数学表示形式：


当有多个假设时，我们选择检验误差最小的假设作为我们最信任的目标函数：




我们现在有多个假设，我们可以给每个假设一个投票的权利，综合所有假设的投票结果：




现在有多个假设，我们可以根据对于不同假设的信任程度，给予不同假设不同的票数，这种情况综合了前两种情况：




如果可以给每个假设指定一个函数作为系数，这个函数说明了在不同的条件下，票数的情况：

举例

如果现在有一些比较弱的假设（如下图中，只能进行横轴和纵轴的分类平面），如果我们能将这些弱的分类器组合起来，就可以把数据有效的分隔开，得到一个强的分类器（弱分类器的组合）。




融合模型使得模型的能力更加强大，通过组合弱分类器的形式，类似之前介绍的特征转换的能力；而通过组合和混合，得到了一个泛化能力更强的假设，又类似之前介绍的正则化的作用。所以，融合模型将特征转换和正则化结合起来，一个合理的融合模型，从理论上是可以得到一个很好的假设的。

Blending

用于分类问题的Uniform Blending

这里像上面描述的那样，通过每个假设投票的结果，得到对于每个数据的预测。这个投票的结果实际上反应了少数服从多数的原则，通过多数意见修正少数的意见，少数的意见可能是有一些错误。

最终，通过民主投票的机制得到一个更加复杂的分类边界。

用于回归问题的Uniform Blending

在回归问题中，最终的假设其实是一系列假设的平均。

这里的大概意思是，对于同样的待预测数据x，有些假设低估了实际的目标，gt(x) < f(x)；而有些假设高估了实际的目标,gt(x) > f(x)。这样平均下来的结果，可能有低估有高估，就减少了误差的结果，平均下来得到一个更稳定、更准确的估计方式。

Uniform Blending的理论分析

我们这里分析一下任意一个gt(x)与目标函数的均方差的平均和综合之后的假设G与目标函数的均方差的关系。




得到的这个式子告诉我们，avg((gt-f)^2)和(G-f)^2是有关系的，中间差了一个avg((gt-G)^2)。

以此类推，对于测试数据集，我们分析一下预测误差，得到下面的式子。说明Eout(gt)的平均要比Eout(G)大，这说明理论上Uniform Blending的误差要比gt的平均预测误差更小，预测效果也更好。

小结

现在假设每次从一组数据分布中抽取N笔数据构造gt，平均T个gt，得到G。如果对这一动作取极限，得到期望值g hat。




我们下面用g hat代替上一小节中的G，得到gt和g hat的关系。


g_hat代表了一些gt的共同意见，共识，consensus

avg(Eout(gt))代表了该算法作用于不同的数据集的平均表现，是演算法表现的期望值

avg(ε(gt-g_hat)^2)代表了gt与共识差别多大，说明了不同gt的意见有多么不一样，多么分散，称为variance

Eout(g_hat)代表了共识的表现如何，称为bias






我们可以知道平均的目的就是想办法消除variance的过程，得到更稳定的表现。

Linear Blending

假设现在我们已经得到一些假设gt，Linear Blending是分配给不同的gt不同的票数，即给gt不同权重αt。最终得到的是gt的线性组合。



(1)得到使得模型训练误差最小的α

那么我们该如何得到最好的αt呢？一般的思路自然是要使得训练误差最小的αt，即min Ein(α)。




上面的式子和之前介绍过的进行特征转换后的线性回归模型很类似，这里要求αt>=0这个限制条件。这样我们可以将gt(·)当做是特征转换，然后利用线性回归模型的方式求解α就可以了。

(2)忽略α的限制条件




在之前的线性回归模型中，我们没有用到系数的限制条件，这里我们该如何转化αt>=0这个限制条件的问题呢？




上面的式子告诉我们，当αt < 0的时候，我们可以将αt·gt(x)看做是一个正的系数|αt|乘上一个反向的gt。

我们可以设想二元分类的情况，如果有一个假设，其错误率是99%，那么当我们反过来用的时候，可以得到一个错误为1%的假设，即正确率为99%的假设。从这个角度来看，我们可以不用在意αt的正负问题。

(3)gt的选择

我们使用Blending算法，需要一些gt，那么gt通常是怎么得到呢？一般的，g从不同的模型，通过求最好的Ein得到的。

但是通过最小化Ein的方式进行选择最好的gt，需要付出复杂度代价很大，所以我们要使用最小化验证误差进行g的选择。所以，如果使用Ein来得到Linear Blending的gt就需要付出更大的复杂度代价了，很容易出现过拟合的问题。

实际上，Blending算法通过选择使得验证误差Eval最小的

αt

，而不是Ein；同时，为了让验证误差Eval和之前得到的

gt

相互独立，故之前得到的

gt

是从训练集合

Etrain

中得到的

gt-

。

具体的流程是这样的：

从比较小的

Dtrain

数据集中得到一堆

g1-

，

g2-

，…，

gT-

，然后将验证集合

Dval

中的数据通过

g-

转换成Z空间的数据





Linear Blending可以通过线性模型学习经过转换得到的(zn,yn)，最后输出的是通过

g-

得到的

α

,和使用所有现有数据训练得到的

g

而不再是

g-

同样的道理，我们也可以使用同样的流程来运用非线性的模型求解这个问题，这样就可以使得模型的能力更强，进而延伸到有条件的Blending模型(conditional blending)上，其缺点是可能出现过拟合的问题

如果上面不太明白

g

和

g-

的区别，请看一下【机器学习基础】验证小结的介绍。

Bagging(Bootstrap Aggregation)

之前我们假设事先已经得到一对

g

，然后去做Blending的动作，现在我们可不可以一边学习

g

，一边将这些

g

综合起来？

如何得到不同的g

首先，我们要考虑一下可以通过什么方式得到不同的g：


从不同的模型得到不同的g

同一个模型，不同的参数得到不同的g

如果是算法本来是有随机的部分，可以得到不同的g

不一样的数据集得到不同的g，比如在进行交叉验证的时候，不一样的数据集切割可以得到不一样的g-



我们能不能通过一份数据得到不同的g呢？这就是我们接下来要做的工作。

再次回顾一下之前介绍的理论结果，即演算法的表现可以分成Bias和Variance。




这个理论背后的意义是，大家的共识比单一的意见(g)要好。

我们在之前的推导中要求有一组不同的数据，但是我们现在只有一笔数据可用，那么我们该如何做呢？

在上面的式子中的g的平均(g拔),是通过无限个数据集得到的g，然后进行平均；为了近似g的平均，我们使用有限个，但是很大的数量T代替；其次，利用统计学中bootstrapping方法来根据现有数据模拟生成新的数据。

bootstrapping

bootstrap采样的数据是通过在原有N个数据中随机平均地取出，记录下来之后再放回去重新抽取，这样取N次之后，得到的数据在统计学上称为bootstrap sample。

Bagging

bootstrap aggregation(BAGging)的方法是通过bootstapping的机制生成一系列不同的

gt

，然后这些

gt

用Uniform的方式投票，综合起来。

举例

下面的例子是用Pocket演算法求出的分类边界，这里的步骤是用boostrap的方法得到不同的数据集，然后对每一笔数据集运用Pocket算法，让每个Pocket算法跑1000次，得到25个分类线(灰色线)，将这些分类线综合起来得到最终的非线性的边界(黑色线)。



转载请注明作者Jason Ding及其出处

GitCafe博客主页(http://jasonding1354.gitcafe.io/)

Github博客主页(http://jasonding1354.github.io/)

CSDN博客(http://blog.csdn.net/jasonding1354)

简书主页(http://www.jianshu.com/users/2bd9b48f6ea8/latest_articles)

百度搜索jasonding1354进入我的博客主页