lucene入门

Lucene介绍：

Lucene是一种全文检索技术，属于Apache公司，它也可以称为是一种数据库，凡是能够保持或持久化数据的地方就叫数据库

Lucene并不是现成的搜索引擎，但可以根据Lucene来编写搜索引擎，常见搜索引擎：百度，google；常见应用场景：淘宝，京东

Lucene是实现此搜索引擎系统的工具jar包

数据库分类：

关系型数据库：Mysql，Oracle

非关系型数据库：Redis，memcached

消息数据库：ActiveMQ

索引库：Lucene

Lucene存储结构：索引+内容

全文检索解释：

是一种搜索技术，搜索技术有顺序扫描法：从头到尾以此比较扫描，效率非常低下，比如查没有目录的字典；

全文检索是先根据索引确定搜索的关键字在某个范围内，然后在从中查询，效率很高，比如查带目录的字典；

使用全文检索的前提是首先要创建索引

创建索引是根据所存储的数据信息进行创建

比如：Lucene 是 Apache 公司的一项开源的技术

那么当我们搜索Lucene/Apache/公司/开源/技术这些关键字时都应该能够查到这句话

也就是说这些关键字就是索引，我们现在要做的就是怎么来创建一个这样的索引，其实我感觉就像把这一句话反复拆解

创建索引过程

1，获得数据，也就是创建索引所需要的数据，索引总是建立在数据之上的

数据来源：数据库，文本文件，web网站爬虫

2，构建文档对象，把获得的数据封装成一个个的文档对象(Document，lucene提供的API)

3，分析文档，也就是分解文档数据，就是拆分一个个的索引关键字

规则：

1）所有英文全部转小写

2）标点符号不要

3）is,a,an...这类单独没有意义的词不要

4）英文过去式，将来式转成现在式

注意：对中文的分析之后有专门的工具jar包，先按照英文分析解释

Lucene入门程序需要jar包

核心包:lucene-core-4.10.1.jar

分词器包:lucene-analyzers-common-4.10.1.jar

查询解析包:lucene-queryparser-4.10.1.jar

mysql驱动包（数据从mysql数据库中获得，也可以自己写死）

对应maven坐标：

<!-- Lucene核心包 -->
<dependency>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-core</artifactId>
<version>4.10.1</version>
</dependency>

<!-- Lucene查询解析包 -->
<dependency>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-queryparser</artifactId>
<version>4.10.1</version>
</dependency>

<!-- 分词器包 -->
<dependency>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-analyzers-common</artifactId>
<version>4.10.1</version>
</dependency>

上面说的对中文分词支持的分词器

IK分词器(中文分词器IK-analyzer)：

jar包：IKAnalyzer2012FF_u1.jar，这个我没有找到maven坐标，我是导入的jar文件，很容易下载

扩展词文件：ext.dic --》 用来自定义添加分词规则，比如新出网络词“单身狗”，以前是肯定没有这个词的，现在就需要自定义加入



禁用词文件:stopword.dic   --》用来自定义不进行分词的规则，比如一些禁用的词“法论功”，这个词有些时候就不能出现，更不能成为关键字



核心配置文件: IKAnalyzer.cfg.xml--》核心配置文件

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<comment>IK Analyzer 扩展配置</comment>
<!--用户可以在这里配置自己的扩展字典
-->
<entry key="ext_dict">ext.dic;</entry>
<!--用户可以在这里配置自己的扩展停止词字典-->
<entry key="ext_stopwords">stopword.dic;</entry>
</properties>

存放位置：

src资源目录下

数据库表结构：



代码实例：

Product类：这里只使用三个字段作为测试

public class Product {
private Long id;
private Long brandId;
private String name;

public Long getId() {
return id;
}
public void setId(Long id) {
this.id = id;
}
public Long getBrandId() {
return brandId;
}
public void setBrandId(Long brandId) {
this.brandId = brandId;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name == null ? null : name.trim();
}
}

生成索引：

注意导包，都是lucene下的包

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.Field.Store;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.index.Term;
import org.apache.lucene.search.FuzzyQuery;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;

//创建索引
@Test
public void test() throws Exception{

//分词器，Standa
4000
rdAnalyzer是标准分词器对中文支持不好，可以使用IKAnalyzer分词器，对中文支持特别好
Analyzer analyzer = new StandardAnalyzer();
//索引存储目录
Directory dir = FSDirectory.open(new File("D:\\ttt\\lucene\\index"));
//分析器配置，Version.LATEST表示使用最新版本分词器，根据所导Jar包选择，只有当导入两个以上分词器jar包时才有意义
IndexWriterConfig config = new IndexWriterConfig(Version.LATEST, analyzer);
//索引
IndexWriter indexWriter = new IndexWriter(dir, config);
//bpm是查询数据操作，返回一个List集合，这点很简单
List<Product> plist = bpm.selectAll();
for (Product product : plist) {

//创建Document文档对象
Document doc = new Document();
//为每一个字段创建索引
Field idField = new TextField("id",String.valueOf(product.getId()),Store.YES);
Field brandIdField = new TextField("brandId",String.valueOf(product.getBrandId()),Store.YES);
Field nameField = new TextField("name",String.valueOf(product.getName()),Store.YES);
//添加索引
doc.add(idField);
doc.add(brandIdField);
doc.add(nameField);

//保存索引
indexWriter.addDocument(doc);
}
//关闭流
indexWriter.close();

}

查询索引：

模拟淘宝搜索商品

//索引查询
@Test
public void test2() throws Exception{

//从索引中查询

//模糊查询
FuzzyQuery query=new FuzzyQuery(new Term("name","T恤"));

//索引存储目录
Directory dir = FSDirectory.open(new File("D:\\ttt\\lucene\\index"));
//分析器配置
IndexReader indexReader = DirectoryReader.open(dir);
//执行查询
IndexSearcher searcher = new IndexSearcher(indexReader);
//参数一：查询条件；参数二：查询返回记录数
TopDocs topDocs = searcher.search(query, 10);
ScoreDoc[] scoreDocs = topDocs.scoreDocs;
for (ScoreDoc scoreDoc : scoreDocs) {
int docId = scoreDoc.doc;
Document doc = searcher.doc(docId);
String string = doc.get("id");
String brandId = doc.get("brandId");
String name = doc.get("name");

System.out.println(name);

}

indexReader.close();
}

查询结果：