数据挖掘笔记-特征选择-互信息

互信息（Mutual Information）是一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：



又可以表示成：



其中H(X,Y)是联合熵（Joint
Entropy），其定义为：
H(X|Y)是条件熵（conditional
entropy）；x,y互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。    在处理分类问题提取特征的时候就可以用互信息来衡量某个特征和特定类别的相关性，如果信息量越大，那么特征和这个类别的相关性越大。反之也是成立的。    在通过互信息来选取词来建立空间向量模型。在选取之前需要做的一件事是把那些只在一个类别里的出现过的而且频次非常低的词需要去除，因为这些词注定和某个的互信息会很高而和其他类别的互信息会很低。分析发现，低词频对于互信息的影响还是蛮大的，一个词如果频次不够多，但是又主要出现在某个类别里，那么就会出现较高的互信息，从而给筛选带来噪音。所以为了避免出现这种情况可以采用先对词按照词频排序取然后按照互信息大小进行排序，然后再选择自己想要的词，这样就能比较好的解决这个问题。