python爬虫学习之路(3)_ 糗百故事爬取(改)
2016-10-20 17:13
555 查看
本人初学,教程出处:http://cuiqingcai.com/990.html
原文中的内容相当精辟,我就不再总结了(显得有点多余)!原文代码有些旧,自己改了一下,更新了一些
主要思路:
1.不断获取页面信息,解析页面代码
2.优先使用正则匹配出每条内容都具备的信息以及特殊代码(例如有图片的内容、神评论)
3.匹配特殊代码,打印不同信息
运行效果截图:
原文中的内容相当精辟,我就不再总结了(显得有点多余)!原文代码有些旧,自己改了一下,更新了一些
主要思路:
1.不断获取页面信息,解析页面代码
2.优先使用正则匹配出每条内容都具备的信息以及特殊代码(例如有图片的内容、神评论)
3.匹配特殊代码,打印不同信息
# encoding:utf-8 import urllib import urllib2 import re import thread import time class QSBK: def __init__(self): self.pageIndex = 1 self.user_agent = 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:49.0) Gecko/20100101 Firefox/49.0' self.headers = {'User-Agent':self.user_agent} self.stories = [] self.enable = False def getPage(self, pageIndex): try: url = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex) request = urllib2.Request(url,headers = self.headers) response = urllib2.urlopen(request) pageCode = response.read().decode('utf-8') return pageCode except urllib2.URLError,e: if hasattr(e,'reason'): print('糗事百科连接失败,错误原因:',e.reason) return None # 传入某一页代码,返回本页不带图片的段子列表 def getPageItems(self, pageIndex): pageCode = self.getPage(pageIndex) if not pageCode: print "页面加载失败...." return None pattern = re.compile('<div.*?author clearfix">.*?<h2>(.*?)</h2>.*?' + '<a.*?contentHerf.*?<span>(.*?)</span>(.*?)' + 'class="stats-vote"><i class="number">(.*?)</i>.*?' + '<span.*?stats-comments.*?<i class="number">(.*?)</i>.*?' + 'single-clear(.*?)qiushi_tag', re.S) ''' #发布者 0 #内容 1 #可能包含图片的代码块 2* #好笑 3 #评论数 4 #可能包含神评的代码块 5* ''' items = re.findall(pattern, pageCode) # 用来存储每页的段子们 pageStories = [] # 匹配图片 pat0 = re.compile('<div class="thumb"', re.S) # 遍历正则表达式匹配的信息 for item in items: # 是否含有图片 haveImg = re.findall(pat0, item[2]) # 如果不含有图片,把它加入list中 if len(haveImg) < 1: # 发布者、内容、好笑、评论、(神评者、神评) pageStories.append([item[0],item[1],item[3],item[4],item[5]]) return pageStories def loadPage(self): if self.enable == True: if len(self.stories) < 2: pageStories = self.getPageItems(self.pageIndex) if pageStories: self.stories.append(pageStories) self.pageIndex += 1 # 调用该方法,每次敲回车打印输出一个段子 def getOneStory(self, pageStories, page): pat = re.compile('indexGodCmt', re.S) godcname = re.compile('cmt-name">(.*?)</span>', re.S) godccontent = re.compile('main-text">(.*?)</div>', re.S) # 遍历一页的段子 for story in pageStories: # 等待用户输入 input = raw_input() # 每当输入回车一次,判断一下是否要加载新页面 self.loadPage() # 如果输入Q则程序结束 if input == "Q": self.enable = False return # 对代码块5 进行解析,判断是否包含神评部分 godComment = re.findall(pat, story[4]) if len(godComment)<1 : print u"第%d页\t发布人:%s\t\t好笑:%s\t评论数:%s\n%s\n" % (page, story[0], story[2],story[3], story[1] ) else: cname = re.findall(godcname, story[4]) ccontent = re.findall(godccontent, story[4]) print u"第%d页\t发布人:%s\t\t好笑:%s\t评论数:%s\n%s\n(神评)%s%s\n" % (page, story[0], story[2], story[3], story[1].replace("<br/>","\n"), cname[0], ccontent[0]) def start(self): print u'正在读取糗事百科,按回车查看新段子,按Q退出' # 使变量为true,可以正常执行程序 self.enable = True # 先加载一页内容 self.loadPage() # 局部变量,控制当前读到了第几页 nowPage = 0 while self.enable: if len(self.stories) > 0: # 从全局list中获取一页的段子 pageStories = self.stories[0] # 当前读到的页数+1 nowPage += 1 # 将全局list中的第一个元素删除,上文中已经取出 del self.stories[0] # 跳出该页的段子 self.getOneStory(pageStories,nowPage) spider = QSBK() spider.start()
运行效果截图:
相关文章推荐
- python爬虫学习之路(1)_ CSDN网站的模拟登陆
- Python学习之路 (四)爬虫(三)HTTP和HTTPS
- python爬虫学习之路(2)_ 淘宝淘女郎相册打包下载
- Python学习之路 (二)爬虫(一)
- Python学习之路 (六)爬虫(五)爬取拉勾网招聘信息
- python 爬虫学习之路
- Python学习之路 (三)爬虫(二)
- Python学习之路 (五)爬虫(四)正则表示式爬去名言网
- python爬虫学习——爬取糗百页面段子
- python爬虫学习(2)__抓取糗百段子,与存入mysql数据库
- python爬虫学习笔记1——糗百段子爬取
- 我的python学习之路---optparse源代码学习
- 我的python学习之路--with
- python爬虫框架scrapy学习笔记
- 我的python学习之路---赋值和打印
- 我的python学习之路----发送带附件邮件(基于smtp)
- python学习之路- 标准库
- 我的python学习之路--列表表达式及匿名函数lambda
- python学习之路------第一个实用的Linux script
- python学习之路-继承