XGBoost模型
2016-04-28 20:33
302 查看
1.模型
(1)整体模型函数如下:
其中 k 表示树的数量,f 表示每棵树的预测函数;
(2)截取到第 t 棵树的模型函数表示如下:
2.训练
(1)每次训练一棵树,目标函数如下:
其中第一项是损失函数,第二项是防止过拟合;N表示样本数,T表示所有树的叶子数目,t 表示训练第 t 棵树,w 表示叶子的输出值;
(2)泰勒展开(二阶展开):
其中:
由于L为常数项,所以:
因此,该优化问题就是找出一颗树满足上述目标函数最小;
3.优化
(1)树的预测可以理解如下:1)将哪些样本分配到哪个叶子上;2)每个叶子的预测值;
(2)目标函数的改进:
其中:
表示第 i 个样本分配到第 j 个叶子上;
(3)为了优化上述式子,可以先求出w(二次求解):
因此目标函数可以化为:
PS:xgboost与gbdt的改进:由一阶展开改为二阶,加入过拟合控制;
参考:XGBOOST – A MACROSCOPIC ANATOMY
(1)整体模型函数如下:
其中 k 表示树的数量,f 表示每棵树的预测函数;
(2)截取到第 t 棵树的模型函数表示如下:
2.训练
(1)每次训练一棵树,目标函数如下:
其中第一项是损失函数,第二项是防止过拟合;N表示样本数,T表示所有树的叶子数目,t 表示训练第 t 棵树,w 表示叶子的输出值;
(2)泰勒展开(二阶展开):
其中:
由于L为常数项,所以:
因此,该优化问题就是找出一颗树满足上述目标函数最小;
3.优化
(1)树的预测可以理解如下:1)将哪些样本分配到哪个叶子上;2)每个叶子的预测值;
(2)目标函数的改进:
其中:
表示第 i 个样本分配到第 j 个叶子上;
(3)为了优化上述式子,可以先求出w(二次求解):
因此目标函数可以化为:
PS:xgboost与gbdt的改进:由一阶展开改为二阶,加入过拟合控制;
参考:XGBOOST – A MACROSCOPIC ANATOMY
相关文章推荐
- 4.28总结
- PySide学习笔记第三章-利用信号槽机制关闭窗口
- 团队开发个人总结10
- [团队项目2.0]软件改进分析MathAPP
- 网络流模板(模板题:POJ1273)
- 将hibernate进行简单的优化
- 网络流模板(模板题:POJ1273)
- ImageView的Scaletype决定了图片在View上显示时的样子,如进行何种比例的缩放,及显示图片的整体还是部分,等等。 设置的方式包括: 1. 在layout xml中定义Android:s
- Maven学习总结(三)——使用Maven构建项目
- 【工具篇】
- iOS学习笔记------UIButton、UIImageView、UILabel的属性与方法
- maven 学习---Maven快照
- 流程处理(一)
- NanoPi2-S5P4418启动流程分析
- 微信登陆debug 需要改变keystore
- C - Just a Hook(写的第一道线段树区间更新的题目,卡了半天)
- JZOJ 4465【GDOI2016模拟4.22】飞机调度
- 华为研发工程师编程题(1)----汽水瓶
- Scrum团队成立3.0
- docker 介绍