Python3:《机器学习实战》之朴素贝叶斯(2)使用Python进行文本分类
2017-09-10 15:40
387 查看
Python3:《机器学习实战》之朴素贝叶斯(2)使用Python进行文本分类
转载请注明作者和出处:http://blog.csdn.net/u011475210代码地址:https://github.com/WordZzzz/ML/tree/master/Ch04
操作系统:WINDOWS 10
软件版本:python-3.6.2-amd64
编 者:WordZzzz
Python3机器学习实战之朴素贝叶斯2使用Python进行文本分类
前言
准备数据从文本中构建词向量
训练算法从词向量计算概率
测试算法根据现实情况修改分类器
准备数据文档词袋模型
前言:
要从文本中获取特征,需要先拆分文本。这里的特征是来自文本的词条(token),一个词条是字符的任意组合。可以把词条想象为单词,也可以使用非单词词条,如URL、IP地址或者任意其他字符串。然后将一个文本片段表示为一个词向量,其中值为1表示词条出现,0表示词条未出现。以在线社区的留言板为例,为了不影响社区的发展,我们要屏蔽侮辱性的言论,所以要构建一个快速过滤器,如果某条留言使用了负面或者侮辱性的言语,那么就将该留言表示为内容不当。过滤这类内容是一个很常见的需求。对此问题建立两个类别:侮辱类和非侮辱类,使用1和0分别表示。
本文主要利用Python实现文本分类。
准备数据:从文本中构建词向量
我们将把文本看成单词向量或者词条向量,也就是说将句子转换为向量。打开文本编辑器,创建一个叫bayes.py的新文件,用如下代码实现构建词向量。代码实现:
# -*- coding: UTF-8 -*- """ Created on Sep 08, 2017 Naive Bayes @author: wordzzzz """ from numpy import * def loadDataSet(): """ Function: 创建实验样本 Args: 无 Returns: postingList:词条切分后的文档集合 classVec:类别标签的集合 """ #词条切分后的文档集合 postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'], ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'], ['stop', 'posting', 'stupid', 'worthless', 'garbage'], ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'], ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']] #类别标签的集合 classVec = [0,1,0,1,0,1] #1 is abusive, 0 not #词条切分后的文档集合和类别标签结合 return postingList,classVec def createVocabList(dataSet): """ Function: 创建一个包含所有文档中出现的不重复词的列表 Args: dataSet:数据集 Returns: list(vocabSet):返回一个包含所有文档中出现的不重复词的列表 """ #创建一个空集 vocabSet = set([]) #将新词集合添加到创建的集合中 for document in dataSet: #操作符 | 用于求两个集合的并集 vocabSet = vocabSet | set(document) #返回一个包含所有文档中出现的不重复词的列表 return list(vocabSet) def setOfWords2Vec(vocabList, inputSet): """ Function: 词表到向量的转换 Args: vocabList:词汇表 inputSet:某个文档 Returns: returnVec:文档向量 """ #创建一个所含元素都为0的向量 returnVec = [0]*len(vocabList) #遍历文档中词汇 for word in inputSet: #如果文档中的单词在词汇表中,则相应向量位置置1 if word in vocabList: returnVec[vocabList.index(word)] = 1 #否则输出打印信息 else: print("the word: %s is not in my Vocablary!" % word) #向量的每一个元素为1或0,表示词汇表中的单词在文档中是否出现 return returnVec
首先命令行生成词汇表,程序中巧妙地运用了Python的set数据类型,通过并集运算,可以生成一个包含所有文档中出现的不重复词的列表。
输出结果:
>>> import bayes >>> listOPosts, listClasses = bayes.loadDataSet() >>> myVocabList = bayes.createVocabList(listOPosts) >>> myVocabList ['mr', 'cute', 'please', 'to', 'steak', 'worthless', 'not', 'how', 'so', 'I', 'stop', 'ate', 'buying', 'help', 'has', 'maybe', 'dog', 'him', 'flea', 'posting', 'stupid', 'is', 'food', 'garbage', 'take', 'park', 'my', 'quit', 'licks', 'dalmation', 'love', 'problems']
检查上述词表,就会发现这里不会出现重复的单词。目前该词表并没有进行排序,需要的话稍后可以对其排序。
然后看一下setOfWords2Vec的运行效果:
>>> bayes.setOfWords2Vec(myVocabList, listOPosts[0]) [0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 1, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1] >>> bayes.setOfWords2Vec(myVocabList, listOPosts[3]) [0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0]
该函数使用词汇表或者想要检查的所有单词作为输入,然后为其中每一个单词构建一个特征。我们来看对listOPosts[0]([‘my’, ‘dog’, ‘has’, ‘flea’, ‘problems’, ‘help’, ‘please’])进行词条转换输出的结果,可以看到第三个元素值为1,即词汇表中对应的please这个单词在listOPosts[0]中,事实也确实如此。
训练算法:从词向量计算概率
前面介绍了如何将一组单词转换为一组数字,现在我们就开始使用这些数字计算概率。我们把上篇文章的贝叶斯准则再掏出来,讲之前的x、y替换为w。w表示这是一个向量,即它由多个数值组成。在这个例子中,数值个数与词汇表中的词个数相同。P(ci|w)=P(w|ci)P(ci)P(w)
使用上述公式,对每个类计算该值,然后比较这两个概率值的大小。首先通过类别i(侮辱性留言或者非侮辱性留言)中文档数除以总的文档数来计算概率P(ci)。接下来计算P(w|ci),这里就用到了贝叶斯假设。如果将w展开为一个个独立特征,那么就可以将上述概率写作P(w0,w1,w2,⋅⋅⋅wN|ci)。这里假设所有词都互相独立,就是我们之前提到的naive的条件独立性假设,这意味着我们可以使用P(w0|ci)P(w1|ci)P(w2|ci)...P(wN|ci)来计算上述概率,就算起来so easy!
写个伪代码大概就是这么个意思:
计算每个类别中的文档数目 对每篇训练文档: 对每个类别: 如果词条出现在文档中,则增加该词条的计数 增加所有词条的计数值 对每个类别: 对每个词条: 将该词条的数目除以总词条数目得到条件概率 返回每个类别的条件概率
下面的代码使用了NumPy的一些函数,故应确保将from numpy import *语句添加到bayes.py文件的最前面。
代码实现:
def trainNB0(trainMatrix, trainCategory): """ Function: 朴素贝叶斯分类器训练函数 Args: trainMatrix:文档矩阵 trainCategory:类别标签向量 Returns: p0Vect:非侮辱性词汇概率向量 p1Vect:侮辱性词汇概率向量 pAbusive:侮辱性文档概率 """ #获得训练集中文档个数 numTrainDocs = len(trainMatrix) #获得训练集中单词个数 numWords = len(trainMatrix[0]) #计算文档属于侮辱性文档的概率 pAbusive = sum(trainCategory)/float(numTrainDocs) #初始化概率的分子变量 p0Num = zeros(numWords); p1Num = zeros(numWords) #初始化概率的分母变量 p0Denom = 0.0; p1Denom = 0.0 #遍历训练集trainMatrix中所有文档 for i in range(numTrainDocs): #如果侮辱性词汇出现,则侮辱词汇计数加一,且文档的总词数加一 if trainCategory[i] ==1: p1Num += trainMatrix[i] p1Denom += sum(trainMatrix[i]) #如果非侮辱性词汇出现,则非侮辱词汇计数加一,且文档的总词数加一 else: p0Num += trainMatrix[i] p0Denom += sum(trainMatrix[i]) #对每个元素做除法求概率 p1Vect = p1Num/p1Denom p0Vect = p0Num/p0Denom #返回两个类别概率向量和一个概率 return p0Vect, p1Vect, pAbusive
输出结果:
>>> reload(bayes) <module 'bayes' from 'E:\\机器学习实战\\mycode\\Ch04\\bayes.py'> >>> listOPosts, listClasses = bayes.loadDataSet() #从预先加载值中调入数据 >>> myVocabList = bayes.createVocabList(listOPosts) #构建一个包含所有值得词汇表 >>> trainMat = [] #利用for循环来填充trainMat列表 >>> for postinDoc in listOPosts: ... trainMat.append(bayes.setOfWords2Vec(myVocabList, postinDoc)) ... >>> p0V, p1V, pAb = bayes.trainNB0(trainMat, listClasses) >>> pAb #任意侮辱性文档的概率 0.5 >>> p0V array([ 0.04166667, 0.04166667, 0.04166667, 0.04166667, 0.04166667, 0. , 0. , 0.04166667, 0.04166667, 0.04166667, 0.04166667, 0.04166667, 0. , 0.04166667, 0.04166667, 0. , 0.04166667, 0.08333333, 0.04166667, 0. , 0. , 0.04166667, 0. , 0. , 0. , 0. , 0.125 , 0. , 0.04166667, 0.04166667, 0.04166667, 0.04166667]) >>> p1V array([ 0. , 0. , 0. , 0.05263158, 0. , 0.10526316, 0.05263158, 0. , 0. , 0. , 0.05263158, 0. , 0.05263158, 0. , 0. , 0.05263158, 0.10526316, 0.05263158, 0. , 0.05263158, 0.15789474, 0. , 0.05263158, 0.05263158, 0.05263158, 0.05263158, 0. , 0.05263158, 0. , 0. , 0. , 0. ])
首先,我们发现文档属于侮辱类的概率pAb为0.5,该值是正确定。词汇表中的第一个词是cute,其在类别0中出现一次,在类别1中从未出现,对应的条件概率分别为0.44166667和0.0。该计算是正确的。
测试算法:根据现实情况修改分类器
利用贝叶斯分类器对文档进行分类时,要计算过个概率的乘积以获得文档属于某个类别的概率,如果其中一个概率值为0,那么最后的乘积也为0。为降低这种影响,可以将所有词的出现数初始化为1,并将分母初始化为2。所以需要修改一下trainNB()中的分母分子初始化代码。#初始化概率的分子变量 p0Num = ones(numWords); p1Num = ones(numWords) #初始化概率的分母变量 p0Denom = 2.0; p1Denom = 2.0
另一个遇到的问题就是下溢出,太多的很小数相乘,导致程序向下溢出或者得不到正确的答案(比如四舍五入后乘积为0)。一种解决办法就是对乘积取自然对数。即
!$ln(a*b) = ln(a) + ln(b)$,于是通过求对数可以避免下溢出或者浮点数舍入导致的错误。我们可以放心的是,采用自然对数处理不会有任何损失。下图给出了函数f(x)和ln(f(x))的曲线。
检查这两条曲线,就会发现他们在相同区域内同时增加或者减少,并且在相同点上取到极值。取值虽然不同,但是不影响最终结果。所以需要修改一下trainNB()中的求概率代码。
#对每个元素做除法求概率 p1Vect = log(p1Num/p1Denom) p0Vect = log(p0Num/p0Denom)
下面构建朴素贝叶斯分类函数和测试函数:
代码实现:
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1): """ Function: 朴素贝叶斯分类函数 Args: vec2Classify:文档矩阵 p0Vec:非侮辱性词汇概率向量 p1Vec:侮辱性词汇概率向量 pClass1:侮辱性文档概率 Returns: 1:侮辱性文档 0:非侮辱性文档 """ #向量元素相乘后求和再加到类别的对数概率上,等价于概率相乘 p1 = sum(vec2Classify * p1Vec) + log(pClass1) p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1) #分类结果 if p1 > p0: return 1 else: return 0 def testingNB(): """ Function: 朴素贝叶斯分类器测试函数 Args: 无 Returns: testEntry:测试词汇列表 classifyNB(thisDoc, p0V, p1V, pAb):分类结果 """ #从预先加载中调入数据 listOPosts, listClasses = loadDataSet() #构建一个包含所有词的列表 myVocabList = createVocabList(listOPosts) #初始化训练数据列表 trainMat = [] #填充训练数据列表 for postinDoc in listOPosts: trainMat.append(setOfWords2Vec(myVocabList, postinDoc)) #训练 p0V, p1V, pAb = trainNB0(trainMat, listClasses) #测试 testEntry = ['love', 'my', 'dalmation'] thisDoc = array(setOfWords2Vec(myVocabList, testEntry)) print(testEntry,'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb)) #测试 testEntry = ['stupid', 'garbage'] thisDoc = array(setOfWords2Vec(myVocabList, testEntry)) print(testEntry,'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb))
输出结果:
>>> reload(bayes) <module 'bayes' from 'E:\\机器学习实战\\mycode\\Ch04\\bayes.py'> >>> bayes.testingNB() ['love', 'my', 'dalmation'] classified as: 0 ['stupid', 'garbage'] classified as: 1
大家可以对输入文本做一下修改,看看分类器会输出什么结果。这个例子非常简单,但是它展示了朴素贝叶斯分类器的工作原理。接下来我们可以对代码做一些修改,使分类器工作得更好。
准备数据:文档词袋模型
我们将每个词的出现与否作为一个特征,可以被描述为词集模型(set-of-words model)。如果一个词在文档中出现不止一次,这可能意味着包含该词是否出现在文档中所不能表达的某些信息,这种方法被称为词袋模型(bag-of-words model)。词袋中的单词可以出现多次,而在词集中,每个单词只能出现一次。下面的程序给出了基于词袋模型的朴素贝叶斯代码,。它与函数setOfWords2Vec()几乎完全相同,唯一不同的是每当遇到一个单词时,它会增加词向量中的对应值,而不只是将对应的数值设为1。代码实现:
def bagOfWords2VecMN(vocabList, inputSet): """ Function: 词袋到向量的转换 Args: vocabList:词袋 inputSet:某个文档 Returns: returnVec:文档向量 """ #创建一个所含元素都为0的向量 returnVec = [0]*len(vocabList) #将新词集合添加到创建的集合中 for word in inputSet: #如果文档中的单词在词汇表中,则相应向量位置加1 if word in vocabList: returnVec[vocabList.index(word)] += 1 #返回一个包含所有文档中出现的词的列表 return returnVec
系列教程持续发布中,欢迎订阅、关注、收藏、评论、点赞哦~~( ̄▽ ̄~)~
完的汪(∪。∪)。。。zzz
相关文章推荐
- Python3:《机器学习实战》之朴素贝叶斯(2)使用Python进行文本分类
- 【机器学习实战】11.使用Apriori算法进行关联分析——python3程序
- Python 文本分类:使用scikit-learn 机器学习包进行文本分类
- 《机器学习实战》使用Apriori算法和FP-growth算法进行关联分析(Python版)
- Python使用doc2vec和LR进行文本分类
- 使用python进行文本分类
- 使用rope进行Python代码补全
- 使用Python进行验证码识别
- windows下配置eclipse + Python + PyDev + tornado,并使用pylint进行静态检测
- 使用Python进行二进制文件读写
- 使用python对txt格式的小说进行处理
- 使用python进行下载地址转换
- 使用python进行桌面程序开发(一)
- 使用python进行桌面程序开发(二)
- 由于Python本身自带的界面库功能并不强大,我们使用Python+wxPython作为界面开发平台,在公司新的项目中进行界面开发。开发过程使用Eclipse+PyDev 作为集成开发环境。产品发布时使用Py2exe进行打包。如今,在我的团队中,Pytho
- 使用 Python 进行 socket 编程
- 使用Python进行二进制文件读写
- 使用 Google API 进行翻译的 Python 小工具
- 使用SWIG对Python进行扩展
- 使用 Python 进行线程编程(转)