python 对一篇文章,按逗号和句号分成一句一句的,然后在这篇文章中找到与某个句子类似的句子(包含相同的词)
2018-03-04 08:29
423 查看
#-*- coding:utf-8 -*-
import sys
reload(sys)
sys.setdefaultencoding("gbk")
#code:myhaspl@qq.com
#12-4.py
import numpy as np
import jieba
import copy
import re
def get_cossimi(x,y):
myx=np.array(x)
myy=np.array(y)
cos1=np.sum(myx*myy)
cos21=np.sqrt(sum(myx*myx))
cos22=np.sqrt(sum(myy*myy))
return cos1/float(cos21*cos22)
f1_text='瑞典税务局改称台湾为中国一省:按国际惯例修正'
if __name__ == '__main__':
f1 = file('testk.txt','r')
lines1 = f1.read()
#lines=lines.split(u'*')
#print lines
#lines=re.sub(u"。", "**",lines)
#lines=lines.split('*'.decode('gbk'))
lines1=lines1.split(u',')
#lines=re.split('*', lines)
for j in lines1:
lines=j.split(u'。')
for i in lines :
#print i
#print "ok"
if not len(i) ==1 :
f1_seg_list = jieba.cut(f1_text)
#第一个待测试数据
ftest1_seg_list = jieba.cut(i)
#读取样本文本
#去除停用词,同时构造样本词的字典
f_stop = open('stopwords.txt')
try:
f_stop_text = f_stop.read( )
f_stop_text=unicode(f_stop_text,'utf-8')
finally:
f_stop.close( )
f_stop_seg_list=f_stop_text.split('\n')
test_words={}
all_words={}
for myword in f1_seg_list:
#print ".",
if not(myword.strip() in f_stop_seg_list):
test_words.setdefault(myword,0)
all_words.setdefault(myword,0)
all_words[myword]+=1
#读取待测试文本
mytest1_words=copy.deepcopy(test_words)
for myword in ftest1_seg_list:
#print ".",
if not(myword.strip() in f_stop_seg_list):
if mytest1_words.has_key(myword):
mytest1_words[myword]+=1
#计算样本与待测试文本的余弦相似度
sampdata=[]
test1data=[]
for key in all_words.keys():
sampdata.append(all_words[key])
test1data.append(mytest1_words[key])
test1simi=get_cossimi(sampdata,test1data)
print "%s %f %s "%(chr(10)+i+chr(10),test1simi,chr(10))
else:
continue
f1.close()
import sys
reload(sys)
sys.setdefaultencoding("gbk")
#code:myhaspl@qq.com
#12-4.py
import numpy as np
import jieba
import copy
import re
def get_cossimi(x,y):
myx=np.array(x)
myy=np.array(y)
cos1=np.sum(myx*myy)
cos21=np.sqrt(sum(myx*myx))
cos22=np.sqrt(sum(myy*myy))
return cos1/float(cos21*cos22)
f1_text='瑞典税务局改称台湾为中国一省:按国际惯例修正'
if __name__ == '__main__':
f1 = file('testk.txt','r')
lines1 = f1.read()
#lines=lines.split(u'*')
#print lines
#lines=re.sub(u"。", "**",lines)
#lines=lines.split('*'.decode('gbk'))
lines1=lines1.split(u',')
#lines=re.split('*', lines)
for j in lines1:
lines=j.split(u'。')
for i in lines :
#print i
#print "ok"
if not len(i) ==1 :
f1_seg_list = jieba.cut(f1_text)
#第一个待测试数据
ftest1_seg_list = jieba.cut(i)
#读取样本文本
#去除停用词,同时构造样本词的字典
f_stop = open('stopwords.txt')
try:
f_stop_text = f_stop.read( )
f_stop_text=unicode(f_stop_text,'utf-8')
finally:
f_stop.close( )
f_stop_seg_list=f_stop_text.split('\n')
test_words={}
all_words={}
for myword in f1_seg_list:
#print ".",
if not(myword.strip() in f_stop_seg_list):
test_words.setdefault(myword,0)
all_words.setdefault(myword,0)
all_words[myword]+=1
#读取待测试文本
mytest1_words=copy.deepcopy(test_words)
for myword in ftest1_seg_list:
#print ".",
if not(myword.strip() in f_stop_seg_list):
if mytest1_words.has_key(myword):
mytest1_words[myword]+=1
#计算样本与待测试文本的余弦相似度
sampdata=[]
test1data=[]
for key in all_words.keys():
sampdata.append(all_words[key])
test1data.append(mytest1_words[key])
test1simi=get_cossimi(sampdata,test1data)
print "%s %f %s "%(chr(10)+i+chr(10),test1simi,chr(10))
else:
continue
f1.close()
相关文章推荐
- python 对一篇文章,按句号分成一句一句的,然后在这篇文章中找到与某个句子类似的句子(包含相同的词)
- python 对一篇文章,按逗号分成一句一句的,然后在这篇文章中找到与某个句子类似的句子(包含相同的词)
- 关于python decorator找到的一篇比较好的文章
- 百度笔试题---某文本段,包含数字,空格,逗号,句号。设计统计句子量函数
- 一篇关于python对文件操作讲解的文章
- 【转载】在回答WCF问题时,在我们的园子找到了一篇彪悍的文章
- 找到一篇量子密码文章
- Python 2.7_发送简书关注的专题作者最新一篇文章及连接到邮件_20161218
- 针对上一篇文章中的代码,想出的重构方案(python实现)
- 一直以来没有成功运行出.TEXT Blog,今天找到一篇文章,转过来看看吧
- 网上找到的一篇讲解select机制非常详细透彻的文章,极力推荐
- 看了一篇毕业十年的文章,有感的句子
- 一篇文章让你明白python的装饰器
- 一篇文章快速了解Python的GIL
- 文字滚动一次一行特效,类似抽奖公告.-----一天一篇文章
- 一篇文章让你彻底搞清楚Python中self的含义
- 一篇文章读懂Python赋值与拷贝
- 搜索android RAM ROM SD区别时找到一篇分析不错的文章
- 找到一篇jbpm session closed解决办法的文章
- 一篇文章告诉你,该学R还是Python