分类决策树原理及实现(三)

三、特征选择

   特征选择，即选择来对特征空间进行划分。准则是信息增益（对应ID3算法）或信息增益比(对应C4.5算法)，ID3与C4.5

大部分相同，只是选择特征准则计算公式不同。以ID3为例，从根结点开始，对结点计算所有特征的信息增益，然后选择具

有最大信息增益的特征作为结点的特征，由该特征不同的取值建立相应的子结点；再对递归地对子结点调上以上方法，构建

决策树，直至没见有特征可以选择或所有特征的信息增益很小为止。ID3相当用极大似然法进行概率模型选择。

   为了解释信息增益，先结出熵与条件熵的定义。

   熵表示随机变量不确定性的度量，熵越大，随机变量不确定性越大。

   设X是一个取有限个值的离散随机变量，其概率分布为

，

   则X的熵定义为


   


  熵H(p)随概率p变化的曲线如下，





  好了，熵的定义就到这里了。下面讲解信息增益

   特征A对训练集D的信息增益g(D,A)，定义为集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D|A)之差，

即 g(D,A)=H(D)-H(D|A) ,H(D)表示对数据集D进行分类的不确定性，H(D|A)表示特征A给定条件下对数据集D进行

分类的不确定性。它们的差，即信息增益，就表示由于特征A而使得对数据集D分类的不确定性减少的程度。信息

增益大的特征具有更强的分类能力。

   根据信息增益的特征选择方法，计算每一个特征的信息增益，选择具有最大信息增益的特征对数据进行划分。

 

  

  


以下是python实现源码，题目原型在 分类决策树(四)

def createDataSet():
"""
建立数据集
:return: 数据集,特征标签
"""
dataSet=[['youth', 'wantJob', 'wantHouse', 'ordinary', 'no'],
['youth', 'wantJob', 'wantHouse', 'well', 'no'],
['youth', 'hasJob', 'wantHouse', 'well', 'yes'],
['youth', 'hasJob', 'hasHouse', 'ordinary', 'yes'],
['youth', 'wantJob', 'wantHouse', 'ordinary', 'no'],
['midlife', 'wantJob', 'wantHouse', 'ordinary', 'no'],
['midlife', 'wantJob', 'wantHouse', 'well', 'no'],
['midlife', 'hasJob', 'hasHouse', 'well', 'yes'],
['midlife', 'wantJob', 'hasHouse', 'best', 'yes'],
['midlife', 'wantJob', 'hasHouse', 'best', 'yes'],
['elderly', 'wantJob', 'hasHouse', 'best', 'yes'],
['elderly', 'wantJob', 'hasHouse', 'well', 'yes'],
['elderly', 'hasJob', 'wantHouse', 'well', 'yes'],
['elderly', 'hasJob', 'wantHouse', 'best', 'yes'],
['elderly', 'wantJob', 'wantHouse', 'ordinary', 'no'],]
labels=['age','Job','House','creditLoan']
return dataSet,labels

def calcCntropy(dataSet):
"""
计算熵
:param dataSet:数据集
:return: 熵
"""
dataNum=len(dataSet)  #数据集长度
classCounts={}
for featVec in dataSet:
currClass=featVec[-1]
if currClass not in classCounts.keys():
classCounts[currClass]=0
classCounts[currClass]+=1
cntropy=0.0 #熵
for value in classCounts.values():
prob=float(value)/dataNum
cntropy-=prob*log(prob,2)
return cntropy

def splitDataSet(dataSet,axis,value):
"""
根据某一特征划分数据
:param dataSet: 待划分的数据集
:param axis: 待划分数据集的特征
:param value: 特征值
:return:划分后数据集
"""
reduceDataSet=[] #剩余的数据
for featVec in dataSet:
if featVec[axis]==value:
reduceFeatVec=featVec[:axis]
reduceFeatVec.extend(featVec[axis+1:])
reduceDataSet.append(reduceFeatVec)
return reduceDataSet

def chooseBestFeatureToSplit(dataSet):
"""
根据信息增益准则选择待划分特征
:param dataSet: 待划分数据集
:return: 待划分特征
"""
featNum=len(dataSet[0])-1 #特征数
baseEntropy=calcCntropy(dataSet) #经验熵
#print baseEntropy
bestInfoGain=0.0 #最大信息增益
bestFeature=-1 #最优先划分特征
for i in range(featNum):

featList=set([featVec[i] for featVec in dataSet]) #特征值列表
condEntopy=0.0 #条件熵
for value in featList:
subDataSet=splitDataSet(dataSet,i,value)
prob=float(len(subDataSet))/float(len(dataSet))
condEntopy+=prob*calcCntropy(subDataSet)
infoGain=baseEntropy-condEntopy  #信息增益

if infoGain>bestInfoGain:
bestInfoGain=infoGain
bestFeature=i
return bestFeature

分类决策树（四）

http://blog.csdn.net/xiaocong1990/article/details/54646837