决策树

机器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。

从数据产生决策树的机器学习技术叫做决策树学习,通俗点说就是决策树，说白了，这是一种依托于分类、训练上的预测树，根据已知预测、归类未来。
套用俗语，决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话：
女儿：多大年纪了？

母亲：26。

女儿：长的帅不帅？

母亲：挺帅的。

女儿：收入高不？

母亲：不算很高，中等情况。

女儿：是公务员不？

母亲：是，在税务局上班呢。

女儿：那好，我去见见。
女孩的决策过程就是典型的分类树决策。相当于通过年龄、长相、收入和是否公务员对将男人分为两个类别：见和不见。假设这个女孩对男人的要求是：30岁以下、长相中等以上并且是高收入者或中等以上收入的公务员。
ID3算法 ( IterativeDichotomiser 3迭代二叉树3代）是由Ross Quinlan发明的用于决策树的算法。算法的的思想如下：
1.自顶向下的贪婪搜索遍历可能的决策树空间构造决策树(此方法是ID3算法和C4.5算法的基础)；

2.从“哪一个属性将在树的根节点被测试”开始；

3.使用统计测试来确定每一个实例属性单独分类训练样例的能力，分类能力最好的属性作为树的根结点测试
4.然后为根结点属性的每个可能值产生一个分支，并把训练样例排列到适当的分支（也就是说，样例的该属性值对应的分支）之下。

5.重复这个过程，用每个分支结点关联的训练样例来选取在该点被测试的最佳属性。
度量标准: 信息增益，信息增益比
信息增益定义：特征A对训练数据集D的信息增益 g(D,A) ,定义为集合D的经验熵 H(D) 与特征A 给定条件下的经验条件熵H(D/A)之差，即： g(D,A) = H(D) - H(D/A)
熵表示随机变量不确定性的度量, P=0 或 P=1 时，H(P) = 0,随机变量完全没有不确定性，当 P = 0.5时，随机变量不确定性最大。



信息增益比 定义为信息增益 g(D,A) 与训练数据集 D 关于特征A的值得熵Ha(D)之比。 n是特征 A 取值的个数。





C4.5，是机器学习算法中的另一个分类决策树算法，它是决策树(决策树也就是做决策的节点间的组织方式像一棵树，其实是一个倒树)核心算法，也是上文所介绍的ID3的改进算法，所以基本上了解了一半决策树构造方法就能构造它。
决策树构造方法其实就是每次选择一个好的特征以及分裂点作为当前节点的分类条件。
既然说C4.5算法是ID3的改进算法，那么C4.5相比于ID3改进的地方有哪些呢？：
1.用信息增益比来选择属性。ID3选择属性用的是子树的信息增益，这里可以用很多方法来定义信息，ID3使用的是熵(entropy，熵是一种不纯度度量准则),也就是熵的变化值，而C4.5用的是信息增益比。对，区别就在于一个是信息增益，一个是信息增益比。

2.在树构造过程中进行剪枝，在构造决策树的时候，那些挂着几个元素的节点，不考虑最好，不然容易导致overfitting。

3.对非离散数据也能处理。

4.能够对不完整数据进行处理