Lucene关于几种中文分词的总结

原文地址：http://topic.csdn.net/u/20070714/13/84db902a-9128-4b1b-8dd8-a631f15db931.html

前提：文章基于lucene2.2。

目前最新版本的lucene自身提供的StandardAnalyzer已经具备中文分词的功能，但是不一定能够满足大多数应用的需要。

另外网友谈的比较多的中文分词器还有：

CJKAnalyzer

ChineseAnalyzer

IK_CAnalyzer（MIK_CAnalyzer）

还有一些热心网友自己写的比较不错的分词器在此就不说了，有兴趣的可以自己研究研究。

以上三个中文分词器并不是lucene2.2.jar里提供的。

CJKAnalyzer和ChineseAnalyzer分别是lucene-2.2.0目录下contrib目录下analyzers的lucene-analyzers-2.2.0.jar提供的。分别位于cn和cjk目录。

IK_CAnalyzer（MIK_CAnalyzer）是基于分词词典，目前最新的1.4版本是基于lucene2.0开发的。以上分词器各有优劣，比较如下：

import java.io.Reader;

import java.io.StringReader;

import org.apache.lucene.analysis.Analyzer;

import org.apache.lucene.analysis.StopFilter;

import org.apache.lucene.analysis.Token;

import org.apache.lucene.analysis.TokenFilter;

import org.apache.lucene.analysis.TokenStream;

import org.apache.lucene.analysis.cjk.CJKAnalyzer;

import org.apache.lucene.analysis.cn.ChineseAnalyzer;

import org.apache.lucene.analysis.standard.StandardAnalyzer;

import org.mira.lucene.analysis.IK_CAnalyzer;

import org.mira.lucene.analysis.MIK_CAnalyzer;

public class All_Test {

private static String string = "中华人民共和国在1949年建立，从此开始了新中国的伟大篇章。 ";

public static void Standard_Analyzer(String str) throws Exception{

Analyzer analyzer = new StandardAnalyzer();

Reader r = new StringReader(str);

StopFilter sf = (StopFilter) analyzer.tokenStream( " ", r);

System.out.println( "=====StandardAnalyzer==== ");

System.out.println( "分析方法：默认没有词只有字（一元分词） ");

Token t;

while ((t = sf.next()) != null) {

System.out.println(t.termText());

}

}

public static void CJK_Analyzer(String str) throws Exception{

Analyzer analyzer = new CJKAnalyzer();

Reader r = new StringReader(str);

StopFilter sf = (StopFilter) analyzer.tokenStream( " ", r);

System.out.println( "=====CJKAnalyzer==== ");

System.out.println( "分析方法:交叉双字分割（二元分词） ");

Token t;

while ((t = sf.next()) != null) {

System.out.println(t.termText());

}

}

public static void Chiniese_Analyzer(String str) throws Exception{

Analyzer analyzer = new ChineseAnalyzer();

Reader r = new StringReader(str);

TokenFilter tf = (TokenFilter) analyzer.tokenStream( " ", r);

System.out.println( "=====chinese analyzer==== ");

System.out.println( "分析方法:基本等同StandardAnalyzer（一元分词） ");

Token t;

while ((t = tf.next()) != null) {

System.out.println(t.termText());

}

}

public static void ik_CAnalyzer(String str) throws Exception{

// Analyzer analyzer = new MIK_CAnalyzer();

Analyzer analyzer = new IK_CAnalyzer();

Reader r = new StringReader(str);

TokenStream ts = (TokenStream)analyzer.tokenStream( " ", r);

System.out.println( "=====IK_CAnalyzer==== ");

System.out.println( "分析方法:字典分词,正反双向搜索 ");

Token t;

while ((t = ts.next()) != null) {

System.out.println(t.termText());

}

}

public static void main(String[] args) throws Exception{

String str = string;

System.out.println( "我们测试的字符串是： "+str);

Standard_Analyzer(str);

CJK_Analyzer(str);

Chiniese_Analyzer(str);

ik_CAnalyzer(str);

}

}

分词结果如下：

我们测试的字符串是：中华人民共和国在1949年建立，从此开始了新中国的伟大篇章。

=====StandardAnalyzer====

分析方法：默认没有词只有字（一元分词）

中

华

人

民

共

和

国

在

1949

年

建

立

从

此

开

始

了

新

中

国

的

伟

大

篇

章

=====CJKAnalyzer====

分析方法:交叉双字分割（二元分词）

中华

华人

人民

民共

共和

和国

国在

1949

年建

建立

从此

此开

开始

始了

了新

新中

中国

国的

的伟

伟大

大篇

篇章

=====chinese analyzer====

分析方法:基本等同StandardAnalyzer（一元分词）

中

华

人

民

共

和

国

在

年

建

立

从

此

开

始

了

新

中

国

的

伟

大

篇

章

=====IK_CAnalyzer====

分析方法:字典分词,正反双向搜索

中华人民共和国

中华人民

中华

华人

人民共和国

人民

人

共和国

共和

1949年

建立

从此

开始

新中国

中国

伟大

大篇

篇章

如果 ik_CAnalyzer(String str) 里采用

Analyzer analyzer = new MIK_CAnalyzer();

那么该方法的分词结果是：

中华人民共和国

1949年

建立

从此

开始

新中国

伟大

大篇

篇章

可以看到各种分词结果各不相同，根据应用的需要可以选择合适的分词器。

关于IKAnalyzer的介绍可以参考：
http://blog.csdn.net/dbigbear/archive/2007/01/24/1492380.aspx
文章来源：永恒论坛－http://www.yyhweb.com
http://www.yyhweb.com/Article.htm?cId=2&fId=3&aId=88