最新中文文本挖掘小例子及程序

http://bbs.pinggu.org/thread-853290-1-1.html

 

中文分词：

 因为TM和openNLP对中文支持不好，所以这里的分词软件采用imdict-chinese-analyzer它是中科院张华平博士开发的一款基于HHMM的智能分词软件

 分词效果：

 

zw <- c("如果你聽到某人說他使用某軟體，然后看看效果，有些美中不足，那就叫《星光灿烂》吧！thus do not have the texts already

           stored on a hard disk, and want to save the text documents to disk")

 1、去停用词：

 zwfc(zw,zj1)

 [1] "聽  某人  說  使用  軟  體  看看  效果  美  中  不足  星光  灿烂  thu  text  alreadi  store  hard  disk  save  text  document 

 disk  time: 0.109 s"

 2、不去停用词：

 zwfc(zw,zj1)

 [1] "如果  你  聽  到  某人  說  他  使用  某  軟  體  ,  然后  看看  效果  ,  有些  美  中  不足  ,  那  就  叫  ,  星光  灿烂  ,  吧 

 ,  thu  do  not  have  the  text  alreadi  store  on  a  hard  disk  ,  and  want  to  save  the  text  document  to  disk  time: 0.0

s"

 

中文分词对人名地名分解的仍然不好，大多分解成单字。

 

下面是个简单例子：

 一、安装TM和rJava包，并到SUN网站安装JAVA运行环境软件包。

 二、将下面的压缩包解压到c盘根目录。

 三、在R中运行软件。

 

结果：

 

共五个文件：

 $FileList

 [1] "c:/text/荷兰队长上演惊天远射.txt"     

 [2] "c:/text/技术化转型路上德国人受重创.txt"

 [3] "c:/text/普约尔贡献头球绝杀.txt"       

 [4] "c:/text/四大天王沉沦各有难念的经.txt" 

 [5] "c:/text/再战德班德西命运迥异.txt"     

 -----------------------------------------

 1、找出最少出现过5次的词条  ##

 > findFreqTerms(dtm, 5)

 [1] "乌拉圭" "西班牙"

 --------------------------------------------

 2、找出与"西班牙"相关度至少达0.8的词条  ###

 > findAssocs(dtm, "西班牙", 0.8)

 西班牙 德意志

  1.00   0.92

--------------------------------------------

 去掉较少词频（40%以下）的词条后词条-文件矩阵

 inspect(removeSparseTerms(dtm, 0.4))

 A document-term matrix (5 documents, 5 terms)

 Non-/sparse entries: 22/3

 Sparsity           : 12%

 Maximal term length: 5

Weighting          : term frequency (tf)

     Terms

 Docs 0.0 time: 半决赛 世界杯 西班牙

    1   0     1      1      2      0

    2   1     1      1      1      5

    3   1     1      1      2      4

    4   1     1      0      3      1

    5   1     1      1      1      7

 ----------------------------------------

 ###  词典  ###  它通常用来表示文本挖掘有关词条

 A document-term matrix (5 documents, 3 terms)

 Non-/sparse entries: 13/2

 Sparsity           : 13%

 Maximal term length: 3

Weighting          : term frequency (tf)

     Terms

 Docs 半决赛 世界杯 西班牙

    1      1      2      0

    2      1      1      5

    3      1      2      4

    4      0      3      1

    5      1      1      7

 

本文来自: 人大经济论坛 S-Plus&R专版 版，详细出处参考： http://bbs.pinggu.org/forum.php?mod=viewthread&tid=853290&page=1