aggregation(2):adaptive Boosting (AdaBoost)
2016-05-23 15:57
344 查看
给你这些水果图片,告诉你哪些是苹果。那么现在,让你总结一下哪些是苹果?
1)苹果都是圆的。我们发现,有些苹果不是圆的、有些水果是圆的但不是苹果,
2)其中到这些违反“苹果都是圆的”这一规则的图片,我们得到“苹果都是圆的,可能是红色或者绿色”。。我们发现还是有些图片违反这一规则;
3)其中到违反规则的图片,我们发现“苹果都是圆的,可能是红色或者绿色,而且有梗”。
至此分类完成。
模拟这一过程,就是adaBoost算法。
首先从一个弱分类器开始,然后集中注意力放在发生错误的样本上,get下一次分类器。adaBoost的特点是:
1)不同的分类器是串行训练的,也就是:第二个分类器依赖于第一个分类器;
2)通过集中关注被已有分类器错分的那些数据来获得新的分类器。
如何集中关注错分的数据?通过提高错分数据的权重。这就要求:
为了更具有物理意义,我们把ε给scaling一下:
这样有什么物理意义呢?当数据错分的时候,◇必然大于1.相当于将数据权重放大;而数据分类正确的时候,◇小于1,相当于将数据权重减小。
另一个问题:如何寻找弱分类器?我们知道任何机器学习算法都可以,但是这里一种常用的弱分类器是:单层决策树。
相关文章推荐
- 5月23日 文件上传
- linux命令readlink
- react fake double , bind click and dblclick on the same element
- 针对苹果最新审核要求 为应用兼容IPv6
- Servlet编程:(4)ServletConfig
- 通过applicationContext.xml解读SSH启动与运行过程(2)
- JSP空指针异常问题
- 直播方向的资源收集
- 翻翻git之---简单的配置达到产品在应用市场的评价跳转功能
- 翻翻git之---简单的配置达到产品在应用市场的评价跳转功能
- WebApi2 知识点总结
- glib源码安装使用方法
- GridView
- WVPlots: example plots in R using ggplot2
- mysql数据库开发规范
- MySQL问题:Access denied for user 'root'@'localhost' (using password: YES)
- 如何从频谱图看一副图像的高频和低频成分
- C++primer_第七章_类_学习跟踪
- Android 面试题总结之Android 基础(二)
- Swift基础语法