用决策树模型求解回归问题(regression tree)
2017-03-08 12:31
351 查看
How do decision trees for regression work?
决策树模型既可以求解分类问题(对应的就是 classification tree),也即对应的目标值是类别型数据,也可以应用于回归预测问题的求解(regression tree),其输出值则可以是连续的实数值。一般市面上介绍决策树模型的书及相关的教学视频,通常只关注决策树在分类问题上的求解,而一笔带过对回归树的介绍。事实上,二者的构建过程也确实没有本质的不同,二者的差异主要集中在划分属性时的划分原则上。
y1¯,y2¯ 分别表示以当前属性作为划分选择时各自对应的集合 S1 和 S2 目标值的均值。可通过如下的剪枝方式提高魔性的泛化能力:
SSEcp=SSE+cp×St
St 用来定义树的规模,也即终端节点的数目。cp 则为可调参数,更小的 cp 将会获得更大的树,该参数可通过交叉验证的方式获得。
决策树模型既可以求解分类问题(对应的就是 classification tree),也即对应的目标值是类别型数据,也可以应用于回归预测问题的求解(regression tree),其输出值则可以是连续的实数值。一般市面上介绍决策树模型的书及相关的教学视频,通常只关注决策树在分类问题上的求解,而一笔带过对回归树的介绍。事实上,二者的构建过程也确实没有本质的不同,二者的差异主要集中在划分属性时的划分原则上。
1. SSE
SSE=∑i∈S1|yi−y1¯|+∑i∈S2|yi−y2¯|y1¯,y2¯ 分别表示以当前属性作为划分选择时各自对应的集合 S1 和 S2 目标值的均值。可通过如下的剪枝方式提高魔性的泛化能力:
SSEcp=SSE+cp×St
St 用来定义树的规模,也即终端节点的数目。cp 则为可调参数,更小的 cp 将会获得更大的树,该参数可通过交叉验证的方式获得。
2. OLS regression: sum of squared error
3. quantile regression:
相关文章推荐
- Stanford机器学习---第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- Stanford机器学习---第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- Stanford机器学习---第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- 用keras创建拟合网络解决回归问题Regression
- Stanford机器学习-- 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- 模式识别与机器学习基础之1-一个简单的回归问题(regression problem)
- caffe上使用hdf5格式文件以及回归(regression)问题
- 回归问题的提升树(boosting tree)算法
- 监督学习&回归问题(Regression)
- 关于LeftNotEasy《机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)》中的公式问题
- 第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- Stanford机器学习---第3讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- Stanford机器学习---第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- Stanford机器学习---第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- Stanford机器学习---第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- Stanford机器学习---第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- 分类回归树-classification and regression tree-CART
- Stanford机器学习---第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- Stanford机器学习---第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- caffe上使用hdf5格式文件以及回归(regression)问题