Lucene搜索结果分页 query+cache 输出
2008-04-03 15:13
239 查看
在lucene搜索分页过程中,可以有两种方式
一种是将搜索结果集直接放到session中,但是假如结果集非常大,同时又存在大并发访问的时候,很可能造成服务器的内存不足,而使服务器宕机
还有一种是每次都重新进行搜索,这样虽然避免了内存溢出的可能,但是,每次搜索都要进行一次IO操作,如果大并发访问的时候,你要保证你的硬盘的转速足够的快,还要保证你的cpu有足够高的频率
而我们可以将这两种方式结合下,每次查询都多缓存一部分的结果集,翻页的时候看看所查询的内容是不是在已经存在在缓存当中,如果已经存在了就直接拿出来,如果不存在,就进行查询后,从缓存中读出来.
比如:现在我们有一个搜索结果集 一个有100条数据,每页显示10条,就有10页数据.
安装第一种的思路就是,我直接把这100条数据缓存起来,每次翻页时从缓存种读取
而第二种思路就是,我直接从搜索到的结果集种显示前十条给第一页显示,第二页的时候,我在查询一次,给出10-20条数据给第二页显示,我每次翻页都要重新查询
第三种思路就变成了
我第一页仅需要10条数据,但是我一次读出来50条数据,把这50条数据放入到缓存当中,当我需要10--20之间的数据的时候,我的发现我的这些数据已经在我的缓存种存在了,我就直接存缓存中把数据读出来,少了一次查询,速度自然也提高了很多. 如果我访问第六页的数据,我就把我的缓存更新一次.这样连续翻页10次才进行两次IO操作
同时又保证了内存不容易被溢出.而具体缓存设置多少,要看你的服务器的能力和访问的人数来决定
下面我给出我的代码,仅仅是测试代码,写的比较凌乱,但是应该能够解释我刚才的思路:
class CacheList
void search()
主要代码就是这些了 有什么问题希望大家指正
suyuan19 AT gmail.com
一种是将搜索结果集直接放到session中,但是假如结果集非常大,同时又存在大并发访问的时候,很可能造成服务器的内存不足,而使服务器宕机
还有一种是每次都重新进行搜索,这样虽然避免了内存溢出的可能,但是,每次搜索都要进行一次IO操作,如果大并发访问的时候,你要保证你的硬盘的转速足够的快,还要保证你的cpu有足够高的频率
而我们可以将这两种方式结合下,每次查询都多缓存一部分的结果集,翻页的时候看看所查询的内容是不是在已经存在在缓存当中,如果已经存在了就直接拿出来,如果不存在,就进行查询后,从缓存中读出来.
比如:现在我们有一个搜索结果集 一个有100条数据,每页显示10条,就有10页数据.
安装第一种的思路就是,我直接把这100条数据缓存起来,每次翻页时从缓存种读取
而第二种思路就是,我直接从搜索到的结果集种显示前十条给第一页显示,第二页的时候,我在查询一次,给出10-20条数据给第二页显示,我每次翻页都要重新查询
第三种思路就变成了
我第一页仅需要10条数据,但是我一次读出来50条数据,把这50条数据放入到缓存当中,当我需要10--20之间的数据的时候,我的发现我的这些数据已经在我的缓存种存在了,我就直接存缓存中把数据读出来,少了一次查询,速度自然也提高了很多. 如果我访问第六页的数据,我就把我的缓存更新一次.这样连续翻页10次才进行两次IO操作
同时又保证了内存不容易被溢出.而具体缓存设置多少,要看你的服务器的能力和访问的人数来决定
下面我给出我的代码,仅仅是测试代码,写的比较凌乱,但是应该能够解释我刚才的思路:
class CacheList
void search()
主要代码就是这些了 有什么问题希望大家指正
suyuan19 AT gmail.com
相关文章推荐
- Lucene搜索结果分页 query+cache 输出 (转)
- Lucene搜索结果分页 query+cache 输出
- Lucene搜索结果分页 query+cache 输出
- lucene搜索结果分页显示 google、baidu式的分页 我在项目中的应用(二)
- 使用Java的Lucene搜索工具对检索结果进行分组和分页
- lucene搜索结果分页
- 第三百七十节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)用Django实现搜索结果分页
- 使用lucene对搜索结果排序
- lucene-对搜索结果进行排序
- lucene3.0+版本中文分词测试+搜索结果+创建索引测试
- springmvc+mybatis+lucene4文档搜索系统(支持分页)
- lucene3.0 搜索结果排序+高亮展示
- Lucene小练十二(分页搜索)
- Lucene in action 笔记 term vector——针对特定field建立的词频向量空间,不存!不会!影响搜索,其作用是告诉我们搜索结果是“如何”匹配的,用以提供高亮、计算相似度,在VSM模型中评分计算
- lucene4下用MultiFieldQueryParser同时搜索多个field时,结果的score浅析
- Lucene 结果中搜索,多索引搜索
- 发一个Lucene 2.4.0对搜索结果高亮显示的代码
- 如何实现在结果中搜索 二次搜索实现 lucene
- Lucene的搜索结果排序
- Lucene Hack之通过缩小搜索结果集来提升性能(2)