TF-IDF提取英文文章特征词

# -*- coding: utf-8 -*-
"""
Created on Wed Mar 28 16:49:38 2018

@author: 47899
"""
import codecs
import os
import nltk
import math
import operator
from nltk.tokenize import WordPunctTokenizer

def participles(text): #分词函数
pattern = r"""(?x)                   # set flag to allow verbose regexps
(?:[A-Z]\.)+           # abbreviations, e.g. U.S.A.
|\d+(?:\.\d+)?%?       # numbers, incl. currency and percentages
|\w+(?:[-']\w+)*       # words w/ optional internal hyphens/apostrophe
|\.\.\.                # ellipsis
|(?:[.,;"'?():-_`])    # special characters with meanings
"""
t=nltk.regexp_tokenize(text, pattern)
length=len(t)
for i in range(length):
t[i]=t[i].lower()
return t

def getridofsw(lis, swlist):  # 去除文章中的停用词
afterswlis = []
for i in lis:
if str(i) in swlist:
continue
else:
afterswlis.append(str(i).lower())
return afterswlis

def fun(filepath):  # 遍历文件夹中的所有文件，返回文件list
arr = []
for root, dirs, files in os.walk(filepath):
for fn in files:
arr.append(root+"\\"+fn)
return arr

def read(path):  # 读取txt文件，并返回list
with codecs.open(path, 'r', 'ANSI') as f:
data=f.read()
return data

def readstop(path):  # 读取txt文件，并返回list
f = open(path,encoding='ANSI' )
data = []
for line in f.readlines():
data.append(line)
return data

def getstopword(path):  # 获取停用词表
swlis = []
for i in readstop(path):
outsw = str(i).replace('\n', '').lower()
swlis.append(outsw)
return swlis

def freqword(wordlis):  # 统计词频，并返回字典
freword = {}
for i in wordlis:
if str(i) in freword:
count = freword[str(i)]
freword[str(i)] = count+1
else:
freword[str(i)] = 1
return freword

def corpus(filelist, swlist):  # 建立语料库
alllist = []
for i in filelist:
afterswlis = getridofsw(participles(read(str(i))), swlist)
alllist.append(afterswlis)
return alllist

def tf_idf(wordlis, filelist, corpuslist):  # 计算TF-IDF,并返回字典
outdic = {}
tf = 0
idf = 0
dic = freqword(wordlis)
#outlis = []
for i in set(wordlis):
tf = dic[str(i)]/len(wordlis)  # 计算TF：某个词在文章中出现的次数/文章总词数
# 计算IDF：log(语料库的文档总数/(包含该词的文档数+1))
idf = math.log(len(filelist)/(wordinfilecount(str(i), corpuslist)+1))
tfidf = tf*idf  # 计算TF-IDF
outdic[str(i)] = tfidf
orderdic = sorted(outdic.items(), key=operator.itemgetter(
1), reverse=True)  # 给字典排序
return orderdic

def wordinfilecount(word, corpuslist):  # 查出包含该词的文档数
count = 0  # 计数器
for i in corpuslist:
for j in i:
if word in set(j):  # 只要文档出现该词，这计数器加1，所以这里用集合
#if j.__contains__(word):
count = count+1
else:
continue
return count

def befwry(lis):  # 写入预处理，将list转为string
outall = ''
for i in lis:
ech = str(i).replace("('", '').replace("',", '\t').replace(')', '')
outall = outall+'\t'+ech+'\n'
return outall

def wry(txt, path):  # 写入txt文件
f = codecs.open(path, 'a', 'ANSI')
f.write(txt)
f.close()
return path

def main():
swpath = r'D:\text\stop_words_eng.txt'#停用词表路径
swlist = getstopword(swpath)  # 获取停用词表列表
#print(swlist)
filepath = r'D:\text\yuliao\1'
filelist = fun(filepath)
corpuslist = corpus(filelist, swlist)
#print(corpuslist)
outall = ''
wrypath = r'D:\text\result\TFIDF2.txt'
for i in filelist:
afterswlis = getridofsw(participles(read(str(i))), swlist)  # 获取每一篇已经去除停用的词表
tfidfdic = tf_idf(afterswlis, filelist, corpuslist) # 计算TF-IDF
titleary = str(i).split('\\')
title = str(titleary[-1]).replace('utf8.txt', '')
echout = title+'\n'+befwry(tfidfdic)
print(title+' is ok!')
outall = outall+echout
print(wry(outall, wrypath)+' is ok!')
main()

    老规矩，先把代码贴出。上一周信息内容安全老师让我们应python实现英文文本的预处理、并通过计算TF-IDF的值来提取英文的特征词。接下来介绍一下每个子函数的功能。

一、函数功能

1、分词def participles():
    这个函数主要是用于英语语句的分词，思想是按照正则表达式，用到了nltk库函数，返回的是所有英文的小写形式，为了方便后面的词频统计。

2、去除停用词函数 def getridofsw():
    当我们把原始的英文文档分好词之后，返回的是所有单词的列表形式，在这里为了后面的计算结果更加接近文章的真实特征值，我们需要去除英语文本的停用词，停用词可以在CSDN上找的txt的文档，大家可以自行搜索一下。

3、返回目标文件夹下所有文档的地址列表 def fun()
    主要运用了os库的os.walk功能，遍历文件夹下的所有文件路径。因为后面所用到的语料库txt文件非常的多，所以要一一遍历。

4、read和readstop 
    两个函数功能一样，都是读取txt文件的文本信息，但是因为停用词的txt文件是一行一个词，所以写了readstop来专门读取停用词。不过后来想想，也就没用到。

5、获取停用词表def getstopword():
    按行将停用词txt文档的停用词转换为列表存储起来。

6、统计词频def freqword():
    返回字典形式，统计每一篇文章中进行处理后单词出现的频数。

7、建立语料库def corpus()：
    将一篇文章作为列表的一个元素，然后将文件夹中所有的文章链接成一个列表。方便后面的统计单词出现的文档数。
8、计算TF-IDF的值tf-idf():
    






    最后按照TF-IDF的值将词按照降序排列。

9、统计出现的文档数def wordinfilecount():
     利用了两层循环，外层循环遍历所有的文档，内层循环遍历文档中的单词。利用了集合的方法，在这里还尝试使用了contain函数，但是效果不是特别的好，一方面对效率的提升作用不是特别大，另一方面部分结果出现了错误。
10、写入函数def befwry/wry():
     进行了一些写入的预处理，然后写入到txt文档中。

二、结果展示

使用了SCI.SPACE文件中的1000份语料，内容大部分与宇宙及空间技术有关。









这里选取了部分结果作为展示，可见特征词的提取是大致正确的。