信息熵与信息增益
2015-09-19 23:45
375 查看
信息熵与信息增益
信息熵
信息熵的出现解决了信息的量化度量问题,由克劳德香农提出,用来描述信息源的不确定程度。信息论之父克劳德香农第一次用数学语言阐明了概率与信息冗余度的关系。
我们可以根据一件事情出现的概率来衡量其确定性。假设:
1.设不确定性函数为f,则f是概率p的单调递减函数。
2.两个独立事件所产生的不确定性等于各自不确定性之和,称为可加性。
同时满足以上两个条件的函数f是对数函数,即f(p)=log(1/p)=-logp
定义信息熵:
我们需要考察所有可能发生情况的平均不确定性。若有n个事件:N1...N2...Nn,对应概率为:P1...P2...Pn,且各种事件的出现彼此独立。此时,信息熵H(U)=∑(i=1,n)pi*log(pi)。式子中对数一般取2为底,但也可以取其他值。
信息增益与特征选择
在信息增益中,衡量标准时看特征值能够为分类系统带来多少信息,带来的信息越多,该特征值越重要。对一个特征而言,系统有它和没有它时信息量将发生变化,而前后信息量的差值就是这个特征给系统带来的信息量。所谓信息量,就是熵。
特征T给聚类C或分类C带来的信息增益为
IGT(T)=H(C)-H(C|T)
信息熵
信息熵的出现解决了信息的量化度量问题,由克劳德香农提出,用来描述信息源的不确定程度。信息论之父克劳德香农第一次用数学语言阐明了概率与信息冗余度的关系。
我们可以根据一件事情出现的概率来衡量其确定性。假设:
1.设不确定性函数为f,则f是概率p的单调递减函数。
2.两个独立事件所产生的不确定性等于各自不确定性之和,称为可加性。
同时满足以上两个条件的函数f是对数函数,即f(p)=log(1/p)=-logp
定义信息熵:
我们需要考察所有可能发生情况的平均不确定性。若有n个事件:N1...N2...Nn,对应概率为:P1...P2...Pn,且各种事件的出现彼此独立。此时,信息熵H(U)=∑(i=1,n)pi*log(pi)。式子中对数一般取2为底,但也可以取其他值。
信息增益与特征选择
在信息增益中,衡量标准时看特征值能够为分类系统带来多少信息,带来的信息越多,该特征值越重要。对一个特征而言,系统有它和没有它时信息量将发生变化,而前后信息量的差值就是这个特征给系统带来的信息量。所谓信息量,就是熵。
特征T给聚类C或分类C带来的信息增益为
IGT(T)=H(C)-H(C|T)
相关文章推荐
- 局域网与广域网接口标准
- 用批处理解决数学问题的代码第1/4页
- web标准知识——从p开始,循序渐进
- 网页打开新窗口target=_blank不符合标准
- XHTML标准的版本
- Recommended C Style and Coding Standards中文翻译版第1/3页
- 谁会去在意什么 Web 标准
- document.body.scrollTop 值总为0的解决方法 比较常见的标准问题
- php常用数学函数汇总
- De facto standard 世界上不可思议的事实标准
- 无限循环小数
- 数学书籍备忘
- 国家标准网www.biaozhun.net所有标准免费下载
- 建立以人为本的数学课程观
- 文兴小学2008-2009学年度第一学期数学科教学计划
- MySql函数大全<二>
- Unix期待未来新标准
- 一生受用的数学公式
- oracle中行列转换