用python分析四大名著(一)
2017-09-16 09:58
363 查看
项目起因及意义
起初在浏览知乎时看见一篇文章觉得很有意思(用Python分析《红楼梦》),此文章较长,题主采用了一系列方法分析红楼梦前八十回和后四十回是否为同一个人所写,虽然题主贴上了部分实现的截图,我就想试着来实现一遍,但由于目前能力有限,一些机器学习算法不够了解,加上python又是刚刚学,所以我打算先结合《Python语言程序设计基础》这本书上的例子—-《三国演义》人物出场统计来作为此系列博客第一篇,后续等能力足矣会陆陆续续补上。前期准备
三国里人物众多,我们需要对人物出场次数统计,中文文章需要分词才能进行词频统计,这里我们用到第三方库jieba,这里我就不提供下载方法了,然后我们需要《三国演义》的电子书网上都有,很容易下载。项目进行
将文本数据导入pycharmimport jieba txt = open("三国演义.txt", "r", encoding="gb18030").read()
这里的编码格式一开始我是按照书上‘utf-8’格式读取,发现会乱码,后来在pycharm里面用‘gbk’格式能读出文本内容,但是个别字符识别不出来,就去百度到“gb18030”比gbk范围更广,这里我成功读入。如果你此时还是读入不了可以写成下面形式
txt = open("三国演义.txt", "r", encoding="gb18030",errors="ignore").read()
2.完整代码实现
import jieba excludes = {"将军", "却说", "荆州", "二人", "不可", "不能", "如此", "商议", "如何", "主公", "军士", "左右", "军马", "引兵", "次日", "大喜", "天下", "东吴", "于是", "今日", "不敢", "魏兵","人马", "陛下", "一人"} txt = open("三国演义.txt", "r", encoding="gbk").read() words = jieba.lcut(txt) counts = {} for word in words: if len(word) == 1: continue elif word == "诸葛亮" or word == "孔明曰": rword = "孔明" elif word == "关公" or word == "云长": rword = "关羽" elif word == "玄德" or word == "玄德曰": rword = "刘备" elif word == "孟德" or word == "丞相": rword = "曹操" else: rword = word counts[rword] = counts.get(rword, 0) + 1 for word in excludes: del(counts[word]) items = list(counts.items()) items.sort(key=lambda x:x[1], reverse=True) for i in range(10): word, count=items[i] print (word, count)
excludes里面定义了一些出现次数较多但不是人名的词,这里主要语句就是 counts[rword] = counts.get(rword, 0) + 1 这一句字典类型的counts,如果word在counts中,返回word对应的值,否则返回0。后面用sort()函数和匿名函数lambda()进行排序,这里字典没有顺序,需要先转化为列表类型。输出结果如下:
3.导出数据文件
fo = open("三国人物出场次数.txt", "a") for i in range(10): word, count=items[i] word = str(word) count = str(count) fo.write(word) fo.write(' ') fo.write(count) fo.write('\n') print (word, count) print(items) fo.close()
这里我们将数据导入到 三国人物出场次数.txt 这个文件里面。
4.将数据画出气泡图
总结
由此可知“曹操“,“ 孔明””刘备”是出场最多的人,这些只是简单的数据分析,作为此系列博客的开头篇,随着学习希望自己能实现完整用python分析四大名著。相关文章推荐
- 用python分析四大名著之三国演义
- [转贴]工作习惯测试—选你最喜欢的(根据四大名著分析习惯)
- 【Python数据挖掘课程】九.回归模型LinearRegression简单分析氧化物数据
- 利用python抓取搜狗关于数据分析的文章并保存到csv文件
- Python3爬虫之六网页的初步分析【抓取豆瓣最新电影影评并用词云显示】
- python,日志分析脚本
- 用Python优雅的做数据分析
- Python 和 R 数据分析/挖掘工具互查
- Python 金融数据分析库及相关框架
- python利用大数据和管道分析操作系统日志
- 『利用Python进行数据分析学习』第四章:numpy基础学习
- Python切片操作实例分析
- Python性能分析与调试
- Python源码分析2 - 一个简单的Python程序的执行
- python实现PCA(主成分分析)降维
- Python专用方法与迭代机制实例分析
- python对json的相关操作以及json模块的简要分析
- python中enumerate函数用法实例分析
- python实现分析apache和nginx日志文件并输出访客ip列表的方法