TF-IDF技术百科
2015-08-23 13:20
190 查看
TFIDF的主要思想是:如果某个词或短语在一篇文章中出现的频率TF高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力,适合用来分类。TFIDF实际上是:TF * IDF,TF词频(Term Frequency),IDF逆向文件频率(Inverse Document Frequency)。TF表示词条在文档d中出现的频率。IDF的主要思想是:如果包含词条t的文档越少,也就是n越小,IDF越大,则说明词条t具有很好的类别区分能力。如果某一类文档C中包含词条t的文档数为m,而其它类包含t的文档总数为k,显然所有包含t的文档数n=m+k,当m大的时候,n也大,按照IDF公式得到的IDF的值会小,就说明该词条t类别区分能力不强。但是实际上,如果一个词条在一个类的文档中频繁出现,则说明该词条能够很好代表这个类的文本的特征,这样的词条应该给它们赋予较高的权重,并选来作为该类文本的特征词以区别与其它类文档。这就是IDF的不足之处.
在一份给定的文件里,词频(term frequency,TF)指的是某一个给定的词语在该文件中出现的频率。这个数字是对词数(term count)的归一化,以防止它偏向长的文件。(同一个词语在长文件里可能会比短文件有更高的词数,而不管该词语重要与否。)对于在某一特定文件里的词语来说,它的重要性可表示为:
![](http://b.hiphotos.baidu.com/baike/s%3D220/sign=c690d729abec8a13101a50e2c7019157/5ab5c9ea15ce36d3448570f638f33a87e850b177.jpg)
以上式子中分子是该词在文件中的出现次数,而分母则是在文件中所有字词的出现次数之和。
逆向文件频率(inverse document frequency,IDF)是一个词语普遍重要性的度量。某一特定词语的IDF,可以由总文件数目除以包含该词语之文件的数目,再将得到的商取对数得到:
![](http://a.hiphotos.baidu.com/baike/s%3D220/sign=2b6544f458afa40f38c6c9df9b65038c/a8014c086e061d9552eec4fe79f40ad163d9ca48.jpg)
其中
|D|:语料库中的文件总数
:包含词语的文件数目(即的文件数目)如果该词语不在语料库中,就会导致分母为零,因此一般情况下使用
作为分母。
![](http://c.hiphotos.baidu.com/baike/s%3D220/sign=08d7696548fbfbedd859317d48f1f78e/6f061d950a7b0208298cc7bb61d9f2d3572cc827.jpg)
idf公式分母
然后再计算TF与IDF的乘积。
![](http://c.hiphotos.baidu.com/baike/s%3D220/sign=173521e792ef76c6d4d2fc29ad14fdf6/241f95cad1c8a7863bffb9c86509c93d71cf501b.jpg)
某一特定文件内的高词语频率,以及该词语在整个文件集合中的低文件频率,可以产生出高权重的TF-IDF。因此,TF-IDF倾向于过滤掉常见的词语,保留重要的词语。
在一份给定的文件里,词频(term frequency,TF)指的是某一个给定的词语在该文件中出现的频率。这个数字是对词数(term count)的归一化,以防止它偏向长的文件。(同一个词语在长文件里可能会比短文件有更高的词数,而不管该词语重要与否。)对于在某一特定文件里的词语来说,它的重要性可表示为:
![](http://b.hiphotos.baidu.com/baike/s%3D220/sign=c690d729abec8a13101a50e2c7019157/5ab5c9ea15ce36d3448570f638f33a87e850b177.jpg)
以上式子中分子是该词在文件中的出现次数,而分母则是在文件中所有字词的出现次数之和。
逆向文件频率(inverse document frequency,IDF)是一个词语普遍重要性的度量。某一特定词语的IDF,可以由总文件数目除以包含该词语之文件的数目,再将得到的商取对数得到:
![](http://a.hiphotos.baidu.com/baike/s%3D220/sign=2b6544f458afa40f38c6c9df9b65038c/a8014c086e061d9552eec4fe79f40ad163d9ca48.jpg)
其中
|D|:语料库中的文件总数
:包含词语的文件数目(即的文件数目)如果该词语不在语料库中,就会导致分母为零,因此一般情况下使用
作为分母。
![](http://c.hiphotos.baidu.com/baike/s%3D220/sign=08d7696548fbfbedd859317d48f1f78e/6f061d950a7b0208298cc7bb61d9f2d3572cc827.jpg)
idf公式分母
然后再计算TF与IDF的乘积。
![](http://c.hiphotos.baidu.com/baike/s%3D220/sign=173521e792ef76c6d4d2fc29ad14fdf6/241f95cad1c8a7863bffb9c86509c93d71cf501b.jpg)
某一特定文件内的高词语频率,以及该词语在整个文件集合中的低文件频率,可以产生出高权重的TF-IDF。因此,TF-IDF倾向于过滤掉常见的词语,保留重要的词语。
相关文章推荐
- MAC OS 下安装cocoapods安装的错误问题
- ftrace
- EL表达式总结
- CSS 改变文本选中颜色
- HDU2199Can you solve this equation?
- Maven使用过程中, Could not create local repository at G:\MavenProject\NewRepository
- 干法 读书笔记
- MyEclipse中文乱码问题
- Pascal实用代码模板
- UI设计原则
- Oracle数据的启动与关闭
- TOMCAT的框架结构
- 面向对象方法和结构化方法各自的特点与利弊
- 机器学习:搜索引擎过渡至人工智能
- Permutation Sequence
- 三分 POJ3737
- 如何解决vector 析构函数的异常 opencv Assert _CrtIsValidHeapPointer
- 64位Oracle 11g 使用PL/SQL
- ValueError: invalid literal for int() with base 10: '2.0'
- No Java runtime present, requesting install.