统计学习方法----决策树

决策树模型：树形结构，选择较优的特征，对实例进行分类的过程。

                   
（可以与Adaboost算法结合使用，由弱分类器转化为强分类器）

包含3个步骤：特征选择，决策树生成，决策树修剪。

                     （决策树的生成对应模型的局部选择，决策树的修剪对应模型的全局选择）

1）特征选择：

     准则：信息增益（ID3算法）---matlab自带为treefit；

                信息增益比（ID4.5算法）

                基尼指数（CART算法）---MATLAB自带的classregtree函数

       a）信息增益：

             熵：表示随机变量不确定性的度量；

                         


                                     


                  


              条件熵H（Y|X）：表示已经随机变量X的条件下，随机变量Y的不确定性；

                 


             信息增益：表示已知特征X的信息而使得类Y的信息不确定性减少的程度；

                   


                     
某个特征的信息增益越大，说明这个特征越可取。

                     

                    

               


                 


                


              


                  


         b）信息增益比：