【ML笔记】决策树剪枝
2017-08-04 17:48
218 查看
前言
无论是分类树还是回归树,剪枝过程很重要,剪枝处理不当或是没有剪枝操作,决策树模型都是失败的,通过剪枝,可以大大提高模型准确度,避免决策树的过拟合。C4.5剪枝
决策树生成算法递归地生成决策树,直到不能继续下去为止,产生的树对于训练集会有很好的模型准确率,但是对于未知的测试数据分类却没有那么准确,因此,对书的剪枝很重要。决策树剪枝的算法流程如下:
输入:生成算法产生的整个树T,参数alpha
输出:修剪后的子数T-alpha
(1)计算每个节点的经验熵
(2)递归地从树的叶节点向上回缩,设回缩前后的树分别为T-B和T-A,对应的损失函数分别为C-alpha(T-B)和C-alpha(T-A),如果C-alpha(T-B)<= C-alpha(T-A),进行剪枝,将父节点变为叶子节点
(3)返回(2),直至不能剪枝为止,得到损失函数最小的子树T-alpha
CART剪枝
相关文章推荐
- 【ML学习笔记】23:用python绘制决策树
- 《ML in Action》笔记(2) —— ID3决策树
- 【ML笔记】梯度提升决策树(GBDT)和随机森林(RF)的异同
- 模式识别(Pattern Recognition)学习笔记(二十九)--决策树的剪枝
- 机器学习笔记(九)——决策树的生成与剪枝
- ML学习笔记-决策树
- 机器学习笔记(XII)决策树(II)剪枝处理
- 【ML笔记】决策树ID3和C4.5算法的异同
- 【ML学习笔记】24:白皮书ID3决策树的注解
- Kaldi决策树状态绑定学习笔记(四)
- 《统计学习方法》读书笔记-----决策树:ID3,C4.5生成算法和剪枝
- Spark2 ML包之决策树分类Decision tree classifier详细解说
- 初学ML笔记N0.2——生成学习算法
- 机器学习_阅读笔记_决策树
- 决策树学习笔记(一)
- 决策树学习笔记
- 机器学习笔记——决策树学习
- 决策树-剪枝
- MARK!andrew ng的ml课程学习笔记,后续整理
- 《Spark机器学习》笔记——Spark回归模型(最小二乘回归、决策树回归,模型性能评估、目标变量变换、参数调优)