全文检索之lucene入门篇HelloWorld

首先，先看下目录结构。



       第一步，在eclipse中建立jave项目。需要引入jar包，只有3个，分别是lucene的分词器和核心包，还有高亮显示器。做法是建立一个lib文件夹，将jar包拷过来，然后右击，选择Build
Path（构建路径），Addto Build Path（添加到项目的构建路径）。



          然后建立datasource文件夹，添几个txt的文件进去，内容爱写啥写啥。（但是建议是一个是中文，一个是英文，可以测两种语言的分词）。还有luceneIndex文件夹,用来存放创建的索引.

         其中,IndexWriteraddDocument's
a javadoc.txt的内容是

Adds room adocument to this room index. If the room document contains room  more than setMaxFieldLength(int) terms for agiven field, the remainder are discarded.

         小笑话_总统的房间 Room
.txt 的内容是

总统的房间

    一位绅士到旅游胜地的一家饭店要开个房间，

    侍者因为他没有预定而拒绝说：“房间全满，无法安排。”

    “听着！”绅士说，“假如我告诉你总统要到这里来，你一定会马上向他提供一套客房吧？”

    “当然啦，他是总……”

    “好了，我荣幸地通知你：总统今晚不来了。你把他的房间给我吧！”

          然后建立包，com.lucene.helloworld，新建一个HelloWorld的类。里面主要的两个方法就是建立索引，以及查询关键字。

[java] view
plain copy

 





package com.lucene.helloworld;  

  

import org.apache.lucene.analysis.Analyzer;  

import org.apache.lucene.analysis.standard.StandardAnalyzer;  

import org.apache.lucene.document.Document;  

import org.apache.lucene.index.IndexWriter;  

import org.apache.lucene.index.IndexWriter.MaxFieldLength;  

import org.apache.lucene.queryParser.MultiFieldQueryParser;  

import org.apache.lucene.queryParser.QueryParser;  

import org.apache.lucene.search.Filter;  

import org.apache.lucene.search.IndexSearcher;  

import org.apache.lucene.search.Query;  

import org.apache.lucene.search.ScoreDoc;  

import org.apache.lucene.search.TopDocs;  

import org.junit.Test;  

  

import com.lucene.units.File2DocumentUtils;  

  

public class HelloWorld {  

    //需要查询的文件所在的路径    

    String filePath = "F:\\Users\\liuyanling\\workspace\\LuceneDemo\\datasource\\peoplewhocannot.txt";  

    //设置索引存放的路径  

    String indexPath = "F:\\Users\\liuyanling\\workspace\\LuceneDemo\\luceneIndex";  

    //设置分词器为标准分词器  

    Analyzer analyzer = new StandardAnalyzer();  

      

    /** 

     * 创建索引,先将文件File转化为Document类型,然后用IndexWriter,将Document按照设定的分词器和其他规则,创建索引,存到相应路径中 

     */  

    @Test  

    public void createIndex() throws Exception {  

        Document doc = File2DocumentUtils.file2Document(filePath);  

          

        IndexWriter indexWriter = new IndexWriter(indexPath,analyzer,true,MaxFieldLength.LIMITED);  

        indexWriter.addDocument(doc);  

          

        indexWriter.close();  

    }  

      

    /** 

     * 搜索,查询关键字queryString,先设置查询的范围,在"名称"和"内容"中查询。然后用IndexSearcher来查询， 

     * 通过查询索引来将结果返回。返回的结果是TopDocs类型，还需要进行处理才能拿到结果。 

     */  

    @Test  

    public void search() throws Exception {  

        String queryString = "Internet";  

          

        String[] fields = {"name","content"};  

        QueryParser queryParser = new MultiFieldQueryParser(fields,analyzer);  

        Query query = queryParser.parse(queryString);  

          

        IndexSearcher indexSearcher = new IndexSearcher(indexPath);  

        Filter filter = null;  

        //查询前10000条记录  

        TopDocs topDocs = indexSearcher.search(query,filter,10000);  

          

        System.out.println("总共有["+topDocs.totalHits+"]条匹配结果");  

          

        //将查询出的结果的scoreDocs进行遍历  

        for (ScoreDoc scoreDoc : topDocs.scoreDocs ) {  

            //取出文件的doc编号  

            int docSn = scoreDoc.doc;   

            //根据编号，用indexSearcher查找到document文件  

            Document doc = indexSearcher.doc(docSn);  

            //将Document文件内容打印出来  

            File2DocumentUtils.printDocumentInfo(doc);  

        };  

    }  

}  

     接着，由于里面用了File2DocumentUtils类的printDocumentInfo()和file2Document()，打印Document内容和File转换为Document两个方法。看看File2DocummentUtils文件内容.

[java] view
plain copy

 





package com.lucene.units;  

  

import java.io.BufferedReader;  

import java.io.File;  

import java.io.FileInputStream;  

import java.io.FileNotFoundException;  

import java.io.InputStreamReader;  

  

import org.apache.lucene.document.Document;  

import org.apache.lucene.document.Field;  

import org.apache.lucene.document.NumberTools;  

import org.apache.lucene.document.Field.Index;  

import org.apache.lucene.document.Field.Store;  

  

/** 

 * File转化为Document的工具类 

 * @author liuyanling 

 * 

 */  

public class File2DocumentUtils {  

      

    /** 

     * 文件File转为Document.先根据路径,读取出File文件.然后根据文件的Name,content,size，path来建立索引,确认是否存储. 

     * @param path 

     * @return Document,被转换好的结果 

     */  

    public static Document file2Document(String path) {  

        File file = new File(path);  

          

        Document doc = new Document();  

        //将文件名和内容分词,建立索引,存储；而内容通过readFileContent方法读取出来。  

        doc.add(new Field("name",file.getName(),Store.YES,Index.ANALYZED));  

        doc.add(new Field("content",readFileContent(file),Store.YES,Index.ANALYZED));  

        //将文件大小存储,但建立索引,但不分词;路径则不需要建立索引  

        doc.add(new Field("size",String.valueOf(file.length()),Store.YES,Index.NOT_ANALYZED));  

        doc.add(new Field("path",file.getPath(),Store.YES,Index.NO));  

          

        return doc;  

          

    }  

      

    /** 

     * 读取文件内容。通过FileInputStream文件输入流，InputStreamReader读取输入流，再用BufferedReader包装，可以readLine 

     * 一行一行将数据取出。 

     * @param file 文件对象 

     * @return String，文件中的内容 

     */  

    public static String readFileContent(File file) {  

        try {  

            BufferedReader reader = new BufferedReader (new InputStreamReader(new FileInputStream(file)));  

            //存储File的内容  

            StringBuffer content = new StringBuffer();  

              

            for(String line = null;(line = reader.readLine()) != null;) {  

                content.append(line).append("\n");  

            }  

              

            return content.toString();  

                  

        } catch (Exception e) {  

            throw new RuntimeException();  

        }  

    }  

      

    /** 

     * 将Document文件的内容打印出来，直接根据之前建立索引的使用的字段名，get出字段内容，打印 

     * @param doc 

     */  

    public static void printDocumentInfo(Document doc) {  

//      //第一种读取方式，先getfiled，然后stringValue  

//      Field r = doc.getField("name");  

//      r.stringValue();  

          

        //第二种读取方式，直接get  

        System.out.println("name ="+doc.get("name"));  

        System.out.println("content =" +doc.get("content"));  

        System.out.println("size =" +doc.get("size"));  

        System.out.println("path =" +doc.get("path"));  

    }  

 }  

    代码写完了，先创建索引，在createIndex方法上右击Run
As选择Junit Test，进行单元测试。



    测试成功之后，就可以看到index增加了，说明索引添加了。



    然后测试测试，查询的结果如下。只查询到一个结果，将name，context，size和路径都打印出来了。



         以上就是简单的全文检索查询，缺陷有很多，比如索引的存放位置是事先手动创建的，比如没有进行查询结果的高亮设置，比如对于分词器也只使用了标准的分词器。所以，改进请见下篇《全文检索之lucene的优化篇--创建索引存放的目录》.