NLP11-基于Gensim的文本相似性挖掘[LsiModel]

摘要：通过对数据的抓取，基于jieba分词，去掉停用词，运用Gensim建立词典，生成BOW语料，运行tfidf模型计算词权重，采用LsiModel进行降维，最后运用Gensim提供的MatrixSimilarity类来计算两文档的相似性【基于余弦的距离的计算】。

1. 爬取数据

确定一个内容主题为健康信息类, python的requests包可以对所给的信息URL进行请求并抓取，可采用beautifulsoup来解释，共21754篇；保存成一行一个文档, 用分号把题目与内容分开；如下：

2. 分词与去掉停用词处理

对文本进行分词，并对停用词作相关处理，分词后的结果：



注：停用词下载：http://download.csdn.net/download/ld326/10112475

3. 建立语料词典

运行gensim的建立词典类，共建立差不多20W左右的词汇列表，2W多文档数，518W多词。

=================dictinary info=============

词数： 199252

处理的文档数(num_docs): 21754

没有去重词条总数(num_pos): 5188031

================= dictinary =============

4. 生成语料词袋表示

把所有文档转换成BOW形式，也即是文本转成了向量的初步；数组（词id,词频），每行对应一个文档，对于整个语料来看其实这是一个大的稀疏矩阵。M*N,M表示文档数，N表示词数；

5. 计算tfidf向量

主要是把重点信息的权重增加，是属于特征选择的范畴；词频大的表示这个词对于这篇文章的重要性不一定大，如果这个词对于每篇文档都多，这个词在某篇文档就可以显得不太重要了，对全部文档进行一个综合计算，这样，就应用到了tfidf模型。

6. LSA模型

面对着高维度，有199252维，建立LSA模型，把整个大的矩阵映射到100~300之间的维度，这个有相关学术研究的结果的。这里选择150维，如把所有语料都降维到150维，把稀疏的高级矩阵变成一个计算起来会比较轻松的小矩阵，也把一些没有用的燥音给过滤掉了，这个模型可以被后来的语料查询与分类所调用。

7. 文本相似应用

文本相似可以应用到文本检索，推荐系统等场景，计算相似性的算法比较多，一般三个思想，思想一，直接对文本进行比较，例如，判断是否相等，判断文档最小修改次数转换等等；思想二，把文本转接成局部敏感的hash编码，通过计算编码的差异来判断文本的相似性，例如simhash; 思想三，采用文本的主题模型来分析，主题相同或相似的词、文档也是很相似的；对于计算的方法方面，各种vec距离等等都可以用；gensim求相似的用了余弦来求解的，实现方法是先把两向量换算成单位向量，然后作点乘。任选取第39条文档作为测试：



文本内容url:http://news.familydoctor.com.cn/a/201708/2238329.html

页面显示内容为，主要是讲述了长寿，笑，心情相关等内容.



Gensim对原语料中每行作点乘，这里只把结果大于0.6拿出来，如下显示<文档id,相似关系值>，注意，这个文档标号为从0开始的。

(38, 1.0), (8247, 0.82197654), (9157, 0.79860479), (6145, 0.76660019), (21559, 0.74808526), (21028, 0.71339124), (8473, 0.70313895), (2871, 0.69301218), (3876, 0.68953127), (8908, 0.68686718), (9589, 0.67818797), (4171, 0.67647427), (9164, 0.67124206), (21179, 0.66530234), (9967, 0.66434395), (9160, 0.66402805), (9171, 0.66402805), (6905, 0.66163081), (21023, 0.65950018), (3872, 0.65947652), (4163, 0.65850592), (3718, 0.65803713), (4957, 0.65741718), (9057, 0.65515375), (15104, 0.65506059), (9196, 0.64842445), (638, 0.64582705), (2042, 0.64499903), (16153, 0.644602), (6889, 0.64316607), (9607, 0.64258647), (9804, 0.64086813), (9989, 0.64086813), (20105, 0.63806242), (1171, 0.63073081), (4071, 0.62697035), (11939, 0.62295383), (368, 0.62168962), (9453, 0.61991268), (4066, 0.61936527), (21723, 0.61891901), (14141, 0.61883008), (4150, 0.6184234), (11813, 0.61639971), (9174, 0.61517316), (362, 0.61501044), (9190, 0.61155277), (4997, 0.61000597), (19149, 0.60973948), (19058, 0.6090942), (19944, 0.6090942), (20792, 0.6090942), (21325, 0.6090942), (370, 0.60723531), (9613, 0.60543227), (19320, 0.60264295), (7638, 0.60229903), (8010, 0.60081267)

讲述笑与长寿的关系，解释为什么可以长寿.笑可以帮助减轻压力,促进血液循环，促进疾病康复等，推荐的相关文档基本也是跟这个主题相关。

8. 结果分析

相似文档01：(8247, 0.82197654)、(6145, 0.76660019)，这两篇是同一篇文章：


相似文档02(9157, 0.79860479)：笑起来时，大脑发生了什么变化

相似文档03(21559, 0.74808526)：冥想15分钟 身体能发生12个变化

相似文档04(21028, 0.71339124):医学家解释人体六个怪现象 [可能这里面涉及到笑]

相似文档05(8473, 0.70313895), 5个小锻炼让你越来越年轻[主要抗衰老的养生]

相似文档06(2871, 0.69301218), 八个简单方法缓解心理压力

相似文档07(3876, 0.68953127),有趣的人活得长

相似文档08(8908, 0.68686718),三个特征确实和长寿有关

相似文档09(9589, 0.67818797), 有1种病竟然更长寿

相似文档10(4171, 0.67647427), 锻炼能治拖延症；帮助人们调节心情，增加完成目标的动力

相似文档11(9164, 0.67124206), 哪种性格的人更长寿

相似文档12(21179, 0.66530234)：爱做六件事的人不会长寿

9. 代码

实现的代码：

# -*- coding:utf-8 -*-
import string

import jieba
import jieba.analyse
from bs4 import BeautifulSoup
from gensim import corpora, models, similarities

# 判断是否是数字
def isXiaoShu(word):
rs = False
a = re.search(r'^\d*\.?\d*$', word)
if a:
if a.group(0) == '':
pass
else:
rs = True
else:
pass
return rs

# 分词
def cutPhase(inFile, outFile):
# 如果没有自己定义的词典，这行不要
jieba.load_userdict("dict_all.txt")
# 加载停用词
stoplist = {}.fromkeys([line.strip() for line in open('stopwords.txt', 'r', encoding='utf-8')])
f1 = open(inFile, 'r', encoding='utf-8')
f2 = open(outFile, 'a', encoding='utf-8')
line = f1.readline()
count = 0
while line:
b = BeautifulSoup(line, "lxml")
line = b.text
# line.replace('\u3000', '').replace('\t', '').replace(' ', '')
# 分词
segs = jieba.cut(line, cut_all=False)
# 过滤停用词
segs = [word for word in list(segs)
if word.lstrip() is not None
and word.lstrip() not in stoplist
and word.lstrip() not in string.punctuation
and not isXiaoShu(word.lstrip())
]
# 每个词用空格隔开
f2.write(" ".join(segs))
f2.write('\n')
line = f1.readline()
count += 1
if count % 100 == 0:
print(count)
f1.close()
f2.close()

class MyNews(object):
def __init__(self, dict, in_file):
self.dict = dict
self.in_file = in_file

def __iter__(self):
for line in open(self.in_file, encoding='utf-8'):
yield self.dict.doc2bow(line.split())

if __name__ == '__main__':
is_train = True
# 进行训练计算模型
if is_train:
# 分词
cutPhase(inFile=u'a\资讯文章数据.txt', outFile=u"a\资讯文章数据.cut")
# 建立词典
dict = corpora.Dictionary(line.lower().split() for line in open(u'a\资讯文章数据_cut.txt', encoding='utf-8'))
dict.save('a\资讯文章数据.dic')

# 加载词典:建立词袋语料
# if is_load:
#     dict = corpora.Dictionary.load(u'a/资讯文章数据.dic')
print('=================dictinary info=============')
print('词数：', len(dict.keys()))
print('处理的文档数(num_docs):', dict.num_docs)
print('没有去重词条总数(num_pos):', dict.num_pos)
print('=================dictinary=============')
bows = MyNews(dict, in_file=u'a/资讯文章数据.cut')
# 保存词代信息
corpora.MmCorpus.serialize('a/资讯文章数据.mm', bows)

# 计算iftdf
tfidf = models.TfidfModel(dictionary=dict)
corpus_tfidf = tfidf[bows]
tfidf.save(u'a/资讯文章数据.tfidf')

# 计算lsi模型并保存
lsi = models.LsiModel(corpus_tfidf, id2word=dict, num_topics=150)
lsi.save(u'a/资讯文章数据.lsi')
# 计算所有语料
corpus_lsi = lsi[corpus_tfidf]

# 生成相似矩阵
print('加载bows')
bows = corpora.MmCorpus(u'a/资讯文章数据.mm')
print('加载tfidf模型')
tfidf = models.TfidfModel.load(u'a/资讯文章数据.tfidf')
print('加载LSI模型')
lsi = models.LsiModel.load(u'a/资讯文章数据.lsi')
print('保存相似矩阵')
mSimilar = similarities.MatrixSimilarity(lsi[tfidf[bows]])
mSimilar.save(u'a/资讯文章数据.mSimilar')
# 应用模型,相关的查询
else:
print('加载词典')
dict = corpora.Dictionary.load(u'a/资讯文章数据.dic')
print('加载tfidf模型')
tfidf = models.TfidfModel.load(u'a/资讯文章数据.tfidf')
print('加载LSI模型')
lsi = models.LsiModel.load(u'a/资讯文章数据.lsi')
mSimilar = similarities.MatrixSimilarity.load(u'a/资讯文章数据.mSimilar')

# 任先一句分好词的文档
doc = """  长寿 秘方 疫力 ... 补品 笑一笑 增 寿命 心情  """
# 把测试语料转成词袋向量
vec_bow = dict.doc2bow(doc.split())
# 求tfidf值
vec_tfidf = tfidf[vec_bow]
# 转成lsi向量
vec_lsi = lsi[vec_tfidf]
# 求解相似性文档
sims = mSimilar[vec_lsi]
print('排序后的结果：')
sims = sorted(enumerate(sims), key=lambda item: -item[1])
print(sims)

这是一个文本相似性挖掘粗略过程，请大家多多指教。

【作者：happyprince, http://blog.csdn.net/ld326/article/details/78508162】