中文分词-IKAnalyzer初次使用
2015-04-23 13:23
344 查看
最近做一个小项目,需要对中文进行分词。由于项目是Java写的,且IKAnalyzer的效率还是比较可观,便选择了将其作为我的项目中的分词工具包。写这篇文章是为了让有需要用中文分词工具的开发者快速上手,另外记录一下也方便以后查看。
首先下载 IK Analyzer(也可以自行百度下载),我们需要src中的
IKAnalyzer.cfg.xml
stopword.dic
前者用于工具包的扩展配置,可以在里面配置自己的扩展字典和停止词字典;后者是停止词字典,用于过滤一些无意义的——“的,也,了...”等等出现次数很多但权重很小的字词。
IKAnalyzer可结合Lucene使用也可单独使用,不过都需要以下jar包(这里我选择的版本作为参考):
lucene-core-3.6.0.jar
IKAnalyzer2012.jar
然后我们需要导包,在eclipse中右键项目Build path->Add External Archives...导包。这里有个问题,从上面链接进入下载的IKAnalyzer2012_FF.jar导入会出现错误,暂时没有深入了解错误原因,解决方法是下载Analyzer2012.jar,可直接百度下载。lucene-core-3.6.0.jar同样下载后导入即可。
Eclipse中目录分级如下:IKAnalyzer.cfg.xml和stopword.dic在src目录下。(有些多余的Library不用管...)
以下为测试代码:
import java.io.StringReader;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.wltea.analyzer.lucene.IKAnalyzer;
public class Test {
public static void main(String[] args) throws Exception {
String text = "一个个爱人散落在人海,一声声再见不停在倒带。";
//创建分词对象
Analyzer anal=new IKAnalyzer(true);
StringReader reader=new StringReader(text);
//分词
TokenStream ts=anal.tokenStream("", reader);
CharTermAttribute term=ts.getAttribute(CharTermAttribute.class);
//遍历分词数据
while(ts.incrementToken()){
System.out.print(term.toString()+"|");
}
reader.close();
anal.close();
}
}
输出:加载扩展停止词典:stopword.dic #加载的配置信息,不用管
一个个|爱人|散|落在|人海|一声声|再见|不|停在|倒带| #分词后的结果
分词效果不是百分百满意,但对于我的项目来说已经足够了。中文博大精深,如果需要更完美的分词效果仍然需要在算法和词典上做出突破。
首先下载 IK Analyzer(也可以自行百度下载),我们需要src中的
IKAnalyzer.cfg.xml
stopword.dic
前者用于工具包的扩展配置,可以在里面配置自己的扩展字典和停止词字典;后者是停止词字典,用于过滤一些无意义的——“的,也,了...”等等出现次数很多但权重很小的字词。
IKAnalyzer可结合Lucene使用也可单独使用,不过都需要以下jar包(这里我选择的版本作为参考):
lucene-core-3.6.0.jar
IKAnalyzer2012.jar
然后我们需要导包,在eclipse中右键项目Build path->Add External Archives...导包。这里有个问题,从上面链接进入下载的IKAnalyzer2012_FF.jar导入会出现错误,暂时没有深入了解错误原因,解决方法是下载Analyzer2012.jar,可直接百度下载。lucene-core-3.6.0.jar同样下载后导入即可。
Eclipse中目录分级如下:IKAnalyzer.cfg.xml和stopword.dic在src目录下。(有些多余的Library不用管...)
以下为测试代码:
import java.io.StringReader;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.wltea.analyzer.lucene.IKAnalyzer;
public class Test {
public static void main(String[] args) throws Exception {
String text = "一个个爱人散落在人海,一声声再见不停在倒带。";
//创建分词对象
Analyzer anal=new IKAnalyzer(true);
StringReader reader=new StringReader(text);
//分词
TokenStream ts=anal.tokenStream("", reader);
CharTermAttribute term=ts.getAttribute(CharTermAttribute.class);
//遍历分词数据
while(ts.incrementToken()){
System.out.print(term.toString()+"|");
}
reader.close();
anal.close();
}
}
输出:加载扩展停止词典:stopword.dic #加载的配置信息,不用管
一个个|爱人|散|落在|人海|一声声|再见|不|停在|倒带| #分词后的结果
分词效果不是百分百满意,但对于我的项目来说已经足够了。中文博大精深,如果需要更完美的分词效果仍然需要在算法和词典上做出突破。
相关文章推荐
- 中文分词工具-IKAnalyzer下载及使用
- 使用Lucene和IKAnalyzer实现 中文简单 分词
- 使用IKAnalyzer进行中文分词
- 【Apache Solr系列】使用IKAnalyzer中文分词以及自定义分词字典
- Lucene使用IKAnalyzer中文分词笔记
- lucene---中文分词IKAnalyzer和高亮highlighter的使用
- 【中文分词】使用IKAnalyzer分词统计词频
- 中文分词工具-IKAnalyzer下载及使用
- Lucene6.5.0 下中文分词IKAnalyzer编译和使用
- Lucene6.5.0 下中文分词IKAnalyzer编译和使用
- 基于垃圾短信与垃圾邮件的检测以及iphone中siri所使用的IKAnalyzer中文分词技术
- Ubuntu15.10下Solr 6.0的搭建与IKAnalyzer中文分词结合使用
- lucene第一步---5.中文分词IKAnalyzer和高亮highlighter的使用
- Ubuntu下使用Java调用IKAnalyzer中文分词程序失效的解决方法
- Lucene使用IKAnalyzer中文分词笔记 Jialy Jialy
- 使用IKAnalyzer进行中文分词
- Java实现敏感词过滤 - IKAnalyzer中文分词工具
- PYTHON 结巴中文分词工具的基础使用
- [ solr入门 ] - 在schema.xml中加入中文分词(IKAnalyzer)
- 全文检索引擎Solr系列——整合中文分词组件IKAnalyzer