技术积累--常用的文本分类的特征选择算法
2016-03-21 23:53
555 查看
常采用特征选择方法。常见的六种特征选择方法:
1)DF(Document Frequency) 文档频率
DF:统计特征词出现的文档数量,用来衡量某个特征词的重要性
2)MI(Mutual Information) 互信息法
互信息法用于衡量特征词与文档类别直接的信息量。
如果某个特征词的频率很低,那么互信息得分就会很大,因此互信息法倾向"低频"的特征词。
相对的词频很高的词,得分就会变低,如果这词携带了很高的信息量,互信息法就会变得低效。
3)(Information Gain) 信息增益法
通过某个特征词的缺失与存在的两种情况下,语料中前后信息的增加,衡量某个特征词的重要性。
4)CHI(Chi-square) 卡方检验法
利用了统计学中的"假设检验"的基本思想:首先假设特征词与类别直接是不相关的
如果利用CHI分布计算出的检验值偏离阈值越大,那么更有信心否定原假设,接受原假设的备则假设:特征词与类别有着很高的关联度。
5)WLLR(Weighted Log Likelihood Ration)加权对数似然
6)WFO(Weighted Frequency and Odds)加权频率和可能性
mark:具体做法有时间继续整理
1)DF(Document Frequency) 文档频率
DF:统计特征词出现的文档数量,用来衡量某个特征词的重要性
2)MI(Mutual Information) 互信息法
互信息法用于衡量特征词与文档类别直接的信息量。
如果某个特征词的频率很低,那么互信息得分就会很大,因此互信息法倾向"低频"的特征词。
相对的词频很高的词,得分就会变低,如果这词携带了很高的信息量,互信息法就会变得低效。
3)(Information Gain) 信息增益法
通过某个特征词的缺失与存在的两种情况下,语料中前后信息的增加,衡量某个特征词的重要性。
4)CHI(Chi-square) 卡方检验法
利用了统计学中的"假设检验"的基本思想:首先假设特征词与类别直接是不相关的
如果利用CHI分布计算出的检验值偏离阈值越大,那么更有信心否定原假设,接受原假设的备则假设:特征词与类别有着很高的关联度。
5)WLLR(Weighted Log Likelihood Ration)加权对数似然
6)WFO(Weighted Frequency and Odds)加权频率和可能性
mark:具体做法有时间继续整理
相关文章推荐
- 又是一年春天里
- Maven新建项目更改默认JDK版本
- 小马哥-----高仿机修复摄像头实例说明 其他机型可借鉴
- PB 数据窗口语法解释
- Spring源码之ApplicationContext(十)过程刷新
- ksh
- Ibatis的类型处理器TypeHandler解析
- DHCP的8类报文抓包以及option详解
- c语言:多项式相加的实现
- 工具类:快速加载 xib(UIView 分类)
- MySql绿色版安装出现的问题总结
- 【C++】编程小结②-- 字符串&定义变量
- 从头认识java-特辑-foreach在java里面两种实现原理总结
- codeforces 598C C. Nearest vectors(极角排序)
- 《网站设计 网页配色》笔记
- 学java时遇到的一些小问题
- :Hibernate逍遥游记-第16管理session和实现对话
- typedef定义函数指针和block
- 集合对象set及其操作
- 汉诺塔III