从LBF/JDA理解GBDT,RF,BOOST之间的关系
2015-09-18 16:10
405 查看
前段时间做了LBF/JDA,之后对GBDT,GBDT+ LR,Additive Regression,Random Forest,Boosting的概念产生了错乱。
目前来看,LBF/JDA整体是一个Additive Regression。
有些人说GBDT就是Additive Regression,我觉得也对,从减小残差的目标来看,二者是一致的。
这两种叫法与Boosting都算一个思想,但具体实现方式不同。最明显的就是前者样本权重是一致的(也可以说没有样本权重),以减小当前迭代预测值与真实值的残差为目标;后者是通过样本权重的变化来获得新的优化目标。
在LBF/JDA这两篇文章里,个人认为是对GBDT的DT做了修改,GBDT是通过建立一颗新树来做一次新的回归,而LBF/JDA是通过建立一片Random Forest(提取LBF特征)再加上LR进行回归的。这也是让我头昏的地方(也许现在还在昏)。
先说RF+LR做回归这步,本来可以只用RF作回归的,这样就可以叫GBRF了。但是作者提出了LBF特征的概念,只把RF当做提特征的手段,后面那个根据LBF特征的LR才是我们需要的回归步骤(减小残差)。
也许该写成GB(RF+LR)这种形式,但这又与我脑中的GBDT+LR发生了混淆。这两者,还有RF+LR三者完全不是一个概念。
RF+LR与GBDT+LR。最明显的,RF本身是一个回归模型,而GBDT是一系列小回归模型的组合回归模型。虽然+LR的方式都是把二者做为提特征的工具(不是回归工具),但是两种特征算是在意义上不同吧。都是叶子节点做特征,RF是一堆“并行”的树,GBDT是“串行”的。
那么Additive Regression中的Regression也可以是一个Additive Regression。我现在算是能看懂 GB(RF+LR)+LR 是啥了吗?
目前来看,LBF/JDA整体是一个Additive Regression。
有些人说GBDT就是Additive Regression,我觉得也对,从减小残差的目标来看,二者是一致的。
这两种叫法与Boosting都算一个思想,但具体实现方式不同。最明显的就是前者样本权重是一致的(也可以说没有样本权重),以减小当前迭代预测值与真实值的残差为目标;后者是通过样本权重的变化来获得新的优化目标。
在LBF/JDA这两篇文章里,个人认为是对GBDT的DT做了修改,GBDT是通过建立一颗新树来做一次新的回归,而LBF/JDA是通过建立一片Random Forest(提取LBF特征)再加上LR进行回归的。这也是让我头昏的地方(也许现在还在昏)。
先说RF+LR做回归这步,本来可以只用RF作回归的,这样就可以叫GBRF了。但是作者提出了LBF特征的概念,只把RF当做提特征的手段,后面那个根据LBF特征的LR才是我们需要的回归步骤(减小残差)。
也许该写成GB(RF+LR)这种形式,但这又与我脑中的GBDT+LR发生了混淆。这两者,还有RF+LR三者完全不是一个概念。
RF+LR与GBDT+LR。最明显的,RF本身是一个回归模型,而GBDT是一系列小回归模型的组合回归模型。虽然+LR的方式都是把二者做为提特征的工具(不是回归工具),但是两种特征算是在意义上不同吧。都是叶子节点做特征,RF是一堆“并行”的树,GBDT是“串行”的。
那么Additive Regression中的Regression也可以是一个Additive Regression。我现在算是能看懂 GB(RF+LR)+LR 是啥了吗?
相关文章推荐
- 轻松搞定面试中的链表题目
- A*路径搜寻算法
- JAVA基础学习(十二)--多线程一线程之间的通信
- Android学习笔记:实现图片选择器功能(下)
- 第二课:HTML和CSS
- IOC依赖注入的原理
- python标准日志模块logging的使用方法
- Oracle 分页
- FreeBSD手册——配置FreeBSD内核
- StringUtils方法全集
- Log4j实用手册
- Mongo-connector集成MongoDB到Solr实现增量索引
- Mongo-connector集成MongoDB到Solr实现增量索引
- Hibernate4之二级缓存配置
- 我不能这样活下去
- STL中的map容器的一点总结
- 操作系统笔试题
- ASP.NET实现带有分页信息的列表集合IPagedList
- iOS开发利用系统推送Notifaction和轮询实现简单聊天系统
- githubRepository -- 使用