【信息检索导论】第12章 基于语言建模的信息检索模型
2013-08-17 18:38
465 查看
第12章 基于语言建模的信息检索模型
语言模型
一类最简单的语言模型与一个概率有穷自动机等价。在一元语言模型中,词出现的先后次序无关紧要,因此,这类模型也往往称为词袋模型
查询似然模型
查询似然模型(query likelihood model)我们对文档集中的每篇文档d 构建其对应的语言模型Md。我们的目标是将文档按照其与查询相关的似然P(d|q)排序。最普遍的计算P(d|q)的方法是使用多项式一元语言模型,该模型等价于多项式朴素贝叶斯模型,其中这里的文档相当于后者中的类别,每篇文档在估计中都是一门独立的“ 语言” 。
在基于语言模型(简记为LM)的检索中,可以将查询的生成看成一个随机过程。具体的方法是:
(1) 对每篇文档推导出其LM;
(2) 估计查询在每个文档di 的LM 下的生成概率P(q|Md)
(3) 按照上述概率对文档进行排序。
相关文章推荐
- TensorFlow实战12:实现基于LSTM的语言模型
- 基于Java的开源的模型驱动转换器和抽象用户接口标识语言6.1发布
- 基于Java的开源的模型驱动转换器和抽象用户接口标识语言6.1发布
- 基于Java的开源的模型驱动转换器和抽象用户接口标识语言6.1发布
- 基于人脸检测的肤色采集以及两种常见肤色模型建模
- 基于神经网络的统计语言模型-----第一章 引言
- 基于统计语言模型的分词方法
- 【中文分词系列】 5. 基于语言模型的无监督分词
- 学习笔记TF035:实现基于LSTM语言模型
- 自然语言处理基于java实现(4) 之 基于VSM模型的信息检索程序
- 基于神经网络语言模型的中文新闻文本聚类算法
- 【TensorFlow】LSTM(基于PTB的自然语言建模)
- RNN应用-基于RNN的语言模型
- Tensorflow实战学习(三十五)【实现基于LSTM语言模型】
- 基于神经网络的统计语言模型-----第一章 引言
- 基于统计语言模型的开源输入法SunPinyin在Mac OS
- 基于Java的开源的模型驱动转换器和抽象用户接口标识语言6.1发布
- 基于图模型并支持查询语言的新型元数据管理方法
- 信息检索导论学习笔记(6)-文档评分,词项权重计算及向量空间模型
- 基于RNN的语言模型与机器翻译NMT