中文分词 IK Analyzer
2016-03-16 16:38
609 查看
中文分词之Java实现使用IK Analyzer实现
标签: javalucenestring语言工具class2012-07-05 16:42 39606人阅读 评论(19) 收藏 举报
分类:
JavaWeb编程(26)
版权声明:本文为博主原创文章,未经博主允许不得转载。
IK Analyzer是基于lucene实现的分词开源框架,下载路径:http://code.google.com/p/ik-analyzer/downloads/list
需要在项目中引入:
IKAnalyzer2012.jar
lucene-core-3.6.0.jar
以下复制到src目录下
IKAnalyzer.cfg.xml
stopword.dic
示例代码如下(使用IK Analyzer):
[java] view
plain copy
package com.haha.test;
import java.io.IOException;
import java.io.StringReader;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.wltea.analyzer.lucene.IKAnalyzer;
public class Test2 {
public static void main(String[] args) throws IOException {
String text="基于java语言开发的轻量级的中文分词工具包";
//创建分词对象
Analyzer anal=new IKAnalyzer(true);
StringReader reader=new StringReader(text);
//分词
TokenStream ts=anal.tokenStream("", reader);
CharTermAttribute term=ts.getAttribute(CharTermAttribute.class);
//遍历分词数据
while(ts.incrementToken()){
System.out.print(term.toString()+"|");
}
reader.close();
System.out.println();
}
}
运行后结果:
基于|java|语言|开发|的|轻量级|的|中文|分词|工具包|
使用(lucene)实现:
[java] view
plain copy
package com.haha.test;
import java.io.IOException;
import java.io.StringReader;
import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;
public class Test3 {
public static void main(String[] args) throws IOException {
String text="基于java语言开发的轻量级的中文分词工具包";
StringReader sr=new StringReader(text);
IKSegmenter ik=new IKSegmenter(sr, true);
Lexeme lex=null;
while((lex=ik.next())!=null){
System.out.print(lex.getLexemeText()+"|");
}
}
}
相关文章推荐
- 递归问题之兔生兔
- ibatis批量操作的实现
- 利用iconv进行GB2312和Unicode的互转
- 图论 BZOJ 3669 [Noi2014]魔法森林
- 年近30,朋友聚会都聊什么?
- 关于ScrollView中嵌套listView,textView存在多行时,listView高度计算不正确。
- android.view.WindowManager$BadTokenException: Unable to add window -- token android.os.BinderProxy@4
- HTTP详解
- CSS样式简单设置
- HDU 1242 小心搜索的小陷阱
- Hello Linux !
- 放大你的格局(深度好文)
- Xcode 支持 C11设置
- Java多线程
- JAVA多线程和并发基础面试问答
- HOJ 2226&POJ2688 Cleaning Robot(BFS+TSP(状态压缩DP))
- Android---Volley请求天气接口JSON解析
- 适配
- OC各种数据类型之间的转换方法
- 基于http live streaming, 使用vlc + mediastreamsegmenter + apache 实现iOS视频直播