Spark 中文文档分类(一) IKAnalyzer对文档进行分类
2016-11-14 14:34
232 查看
原网址:http://lxw1234.com/archives/2015/07/422.htm
中文分词工具-IKAnalyzer下载及使用
编程语言lxw1234@qq.com 1年前 (2015-07-22) 5885℃
0评论
关键字:中文分词、IKAnalyzer
最近有个需求,需要对爬到的网页内容进行分词,以前没做过这个,随便找了找中文分词工具,貌似IKAnalyzer评价不错,因此就下来试试,在这里记录一下使用方法,备查。
关于IKAnalyzer的介绍,网上很多,搜一下就知道了。下载地址见文章最后面。
下载解压之后主要使用和依赖以下文件:
IKAnalyzer2012_u6.jar — IKAnalyzer核心jar包
IKAnalyzer.cfg.xml — 配置文件,可以在这里配置停词表和扩展词库
stopword.dic — 停词表
lucene-core-3.6.0.jar — lucene jar包,注意:只能使用这个3.6版本,高版本有问题
IKAnalyzer中文分词器V2012_U5使用手册.pdf — 使用手册
新建Java项目,将IKAnalyzer2012_u6.jar和lucene-core-3.6.0.jar添加到Build Path,将stopword.dic和IKAnalyzer.cfg.xml添加到项目根目录。
看一下IKAnalyzer.cfg.xml的内容:
<?xml version=”1.0″ encoding=”UTF-8″?>
<!DOCTYPE properties SYSTEM “http://java.sun.com/dtd/properties.dtd”>
<properties>
<comment>IK Analyzer 扩展配置</comment>
<!–用户可以在这里配置自己的扩展字典 –>
<entry key=”ext_dict”></entry>
<!–用户可以在这里配置自己的扩展停止词字典–>
<entry key=”ext_stopwords”>stopword.dic;</entry>
</properties>
使用示例代码:
package com.lxw1234.wordsplit;
import java.io.StringReader;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.wltea.analyzer.lucene.IKAnalyzer;
/**
*
* @author lxw的大数据田地 -- lxw1234.com
*
*/
public class Test {
public static void main(String[] args) throws Exception {
String text = "lxw的大数据田地 -- lxw1234.com 专注Hadoop、Spark、Hive等大数据技术博客。 北京优衣库";
Analyzer analyzer = new IKAnalyzer(false);
StringReader reader = new StringReader(text);
TokenStream ts = analyzer.tokenStream("", reader);
CharTermAttribute term=ts.getAttribute(CharTermAttribute.class);
while(ts.incrementToken()){
System.out.print(term.toString()+"|");
}
analyzer.close();
reader.close();
}
}
执行结果为:
lxw|的|大数|数据|田地|lxw1234.com|lxw|1234|com|专注|hadoop|spark|hive|等|大数|数据|技术|博客|北京|优|衣|库|
分词分的很细。
看这个构造函数:Analyzer analyzer = new IKAnalyzer(false);
IKAnalyzer支持两种分词模式:最细粒度和智能分词模式,如果构造函数参数为false,那么使用最细粒度分词。
改成智能分词模式之后的结果:
Analyzer analyzer = new IKAnalyzer(true);
lxw|的|大|数据|田地|lxw1234.com|专注|hadoop|spark|hive|等|大|数据|技术|博客|北京|优|衣|库|
结果还是不太理想,“大数据”和“优衣库”都被分开了,原因是IKAnalyzer自带的词库里面没有这两个词。
需要配置扩展词库。
在项目根目录新建文件MyDic.dic,里面内容为:
大数据
优衣库
每行一个词,特别注意:MyDic.dic的文件编码必须为UTF-8。
编辑IKAnalyzer.cfg.xml配置文件,添加扩展词库:
<!–用户可以在这里配置自己的扩展字典 –>
<entry key=”ext_dict”>MyDic.dic;</entry>
再运行:
lxw|的|大数据|田地|lxw1234.com|专注|hadoop|spark|hive|等|大数据|技术|博客|北京|优衣库|
这下基本是我们想要的结果了。
下载地址:https://code.google.com/p/ik-analyzer/downloads/list
这个地址估计大家不方便,上传了一份到网盘:
http://pan.baidu.com/s/1i3eXhAH
密:34w6
相关文章推荐
- 使用IKAnalyzer进行中文分词
- 使用TF-IDF进行文档分类
- spark + ansj 对大数据量中文进行分词
- Spark官方文档 - 中文翻译
- 使用python对中文文档进行词频统计
- 驳斥: Lotus Notes/Domino CS有读者域控制情况下如何进行所有文档的分类统计
- 使用朴素贝叶斯分类器进行文档分类
- Spark官方文档 - 中文翻译
- Spark中组件Mllib的学习37之随机森林(Gini)进行分类
- 使用jieba分词对中文文档进行分词|停用词去重
- 使用IKAnalyzer进行中文分词
- 利用朴素贝叶斯模型进行文档分类
- 机器学习实战之朴素贝叶斯进行文档分类(Python 代码版)
- 利用Spark-mllab进行聚类,分类,回归分析的代码实现(python)
- Spark官方文档 - 中文翻译
- [问题解决]LaTex 进行中文文档操作
- spark + ansj 对大数据量中文进行分词
- arcgis 进行中文分类标注相关说明
- Spark2.0 特征提取、转换、选择之二:特征选择、文本处理,以中文自然语言处理(情感分类为例)
- SPARK官方文档中文翻译