即插即用demo系列——文本相似度比较

#coding=GBK

from fuzzywuzzy import fuzz
from gensim import corpora, models, similarities

def similar(query, choices, coding='utf8'):
'''文本相似度'''
return [fuzz.token_sort_ratio(query.decode(coding), i.decode(coding), False) for i in choices]

def similar2(query, choices, coding='utf8'):
'''文本相似度比较'''
texts = [[word for word in document.decode(coding).split()] for document in choices]
dictionary = corpora.Dictionary(texts)
corpus = [dictionary.doc2bow(text) for text in texts]
tfidf = models.TfidfModel(corpus)
corpus_tfidf = tfidf[corpus]
index = similarities.MatrixSimilarity(corpus_tfidf)
vec_bow = dictionary.doc2bow(query.decode(coding).split())
vec_tfidf = tfidf[vec_bow]
sims = index[vec_tfidf]
similarity = [int(i * 100) for i in list(sims)]
return similarity

if __name__ == '__main__':
print similar('测试 分词 fuzzy', ['分词 测试', '测试 分词 fuzzy', '今天 天气 很好', '没事 别 测试', 'NBA 篮球 好玩'], coding='gbk')
print similar2('测试 分词 fuzzy', ['分词 测试', '测试 分词 fuzzy', '今天 天气 很好', '没事 别 测试', 'NBA 篮球 好玩'], coding='gbk')


打印两个结果

[63, 100, 21, 44, 20]

[54, 100, 0, 5, 0]

数字越大，相似度越大。100的时候，说明完全相同