结合lucene实现大数据的like模糊查询
2017-01-05 14:55
260 查看
需求
很多时候我们在用数据库的需要使用模糊查询,我们一般会使用like语句来做,然而这样的做的效率不是很多(很抱歉我们亲自去测,很多都这么说的),那么使用Lucene来检索的话,效率会高很多。
lucene结合数据库步骤
写一段传统的JDBC程序,将每条的用户信息从数据库读取出来针对每条用户记录,建立一个lucene document
Document doc = new Document();
并根据你的需要,将用户信息的各个字段对应luncene document中的field 进行添加,如:
doc.add(new Field(“NAME”,”USERNAME”,Field.Store.YES,Field.Index.UN_TOKENIZED));
然后将该条doc加入到索引中, 如: luceneWriter.addDocument(doc);
这样就建立了lucene的索引库
编写对索引库的搜索程序(看lucene文档),通过对lucene的索引库的查找,你可以快速找到对应记录的ID
通过ID到数据库中查找相关记录
注意
1. 在索引的过程中,可以使用增量的方式建立索引,这样对已经索引的记录不在建立索引。实现思路:保存上次(lasttime)的新增时候的id,在建立索引的时候,值查询这个id之后的记录进行索引,更新这个记录下来的id,在数据库数据修改时候,针对这个数据制作索引的修改
2.如果不用Lucene,也可以用数据库本身的“全文索引”这个很不常用的东西。oracle和mysql的新版本都支持全文索引,不喜欢Lucene的可以用这种方法。但是,但是,全文索引的本质和Lucene是一模一样的。
更多代码参考:http://blog.csdn.net/fun913510024/article/details/46289793
相关文章推荐
- sql查询模糊匹配Like的没数据一个问题
- 关于一点显示全部数据的小技巧 以及实现模糊查询的小技巧
- 使用全文索引技术实现高效的like模糊查询功能
- Asp.Net使用Easy UI DataGrid 实现行过滤[行模糊查询数据]
- iBatis 中 Like '%iBatis%' 的写法实现模糊查询
- 全文检索技术Lucene入门和学习、与数据库数据结合的demo实现
- iBatis 中 Like '%iBatis%' 的写法实现模糊查询
- 基于HTML5 Bootstrap搭建的后台模板,分页,模糊查询已经全部JS实现,无需编码,嵌入数据即可开发,内置8款皮肤,欧美风格,非常好用!
- thinkphp实现like模糊查询实例
- 在tp框架中实现数据模糊查询
- java实现搜索引擎,全文检索,超大数据量查询,lucene
- 如何结合IbatisNet的LIST遍历实现模糊查询
- Lucene.Net, SQL Server 2008全文检索, Like模糊查询的一点心得
- Lucene.Net, SQL Server 2008全文检索, Like模糊查询的一点心得(转)
- Excel 中使用SQL 语句查询数据(七)-----用LIKE 运算符进行模糊匹配查询
- iBatis 中 Like '%iBatis%' 的写法实现模糊查询
- 结合.net开发 谈谈 access 中 模糊查询语句 like的用法
- 【SQL】JDBC之实现对MySQL数据的模糊查询
- 如何结合IbatisNet的LIST遍历实现模糊查询
- Mybatis like 模糊查询,有数据,但是就是查询不出来