TF-IDF公式
2016-03-28 15:21
295 查看
TF:(Term Frequency)词频
![](http://img.blog.csdn.net/20160328150133614)
式子中分子是该词在文件中的出现次数,而分母则是在文件中所有字词的出现次数之和
IDF :(inverse document frequency) 逆向文件频率
![](http://img.blog.csdn.net/20160328150403662)
其中
分子:语料库中的文件总数
分母:包含词语的文件数目(即的文件数目)
某一特定词语的IDF,由总文件数目除以包含该词语之文件的数目,再将得到的商取对数得到
很明显,如果对于一个特定的词语,如果包含该词语的文档数目越少,IDF值就越小。
TF-IDF公式即上面的两个式子相乘。
它的思想:如果一个词语在一篇文章中的出现的频率很高,但是它在所有文章当中出现的很少(低文件频率),那么这个词就具有很好的分类效果,适合用来分类。
例子:(来自百度)
有很多不同的数学公式可以用来计算TF-IDF。这边的例子以上述的数学公式来计算。词频 (TF) 是一词语出现的次数除以该文件的总词语数。假如一篇文件的总词语数是100个,而词语“母牛”出现了3次,那么“母牛”一词在该文件中的词频就是3/100=0.03。一个计算文件频率 (IDF) 的方法是测定有多少份文件出现过“母牛”一词,然后除以文件集里包含的文件总数。所以,如果“母牛”一词在1,000份文件出现过,而文件总数是10,000,000份的话,其逆向文件频率就是 log(10,000,000 / 1,000)=4。最后的TF-IDF的分数为0.03 * 4=0.12。
式子中分子是该词在文件中的出现次数,而分母则是在文件中所有字词的出现次数之和
IDF :(inverse document frequency) 逆向文件频率
其中
分子:语料库中的文件总数
分母:包含词语的文件数目(即的文件数目)
某一特定词语的IDF,由总文件数目除以包含该词语之文件的数目,再将得到的商取对数得到
很明显,如果对于一个特定的词语,如果包含该词语的文档数目越少,IDF值就越小。
TF-IDF公式即上面的两个式子相乘。
它的思想:如果一个词语在一篇文章中的出现的频率很高,但是它在所有文章当中出现的很少(低文件频率),那么这个词就具有很好的分类效果,适合用来分类。
例子:(来自百度)
有很多不同的数学公式可以用来计算TF-IDF。这边的例子以上述的数学公式来计算。词频 (TF) 是一词语出现的次数除以该文件的总词语数。假如一篇文件的总词语数是100个,而词语“母牛”出现了3次,那么“母牛”一词在该文件中的词频就是3/100=0.03。一个计算文件频率 (IDF) 的方法是测定有多少份文件出现过“母牛”一词,然后除以文件集里包含的文件总数。所以,如果“母牛”一词在1,000份文件出现过,而文件总数是10,000,000份的话,其逆向文件频率就是 log(10,000,000 / 1,000)=4。最后的TF-IDF的分数为0.03 * 4=0.12。
相关文章推荐
- Nginx介绍和使用
- iptables配置实践
- [关于printPrime是()方法的控制流图和点覆盖、边覆盖、主路径覆盖]
- 输出任意两个数之间的所有素数
- 基于spring mvc注解项目 启动时初始化数据
- nginx反向代理TCP,取RTMP流
- oracle数据库小结
- 设置tabBarItem的图片渲染
- android:screenOrientation
- 《科学》封面重磅论文:人工智能终于能像人类一样学习
- web storage的用法
- tomcat下设置jvm的相关参数
- js控制文本字数,并能点击显示和隐藏
- 文件系统超级块
- 关于的servlet的单例模式解释
- WPF之TabControl控件用法
- ubuntu12.04下怎么安装QT4.0
- 学完stm32开发板下一步如何选嵌入式ARM开发板
- Servlet验证码
- 基于item协同过滤算法实现