python爬虫实战一之糗事百科
2017-03-29 19:58
435 查看
目标:
(1)抓取糗事百科热门段子
(2)过滤带有图片的段子
(3)实现没按一次回车显示一个段子的发布时间,发布人,段子内容,点赞数
糗事百科是不需要登录的,所以也没必要用到cookie,另外糗事百科有的段子是附图的,把图片抓下来不利于显示,所以尝试过滤掉有图的段子
先用最简单的代码来实现抓取看看能不能成功
运行结果:
raise RemoteDisconnected("Remote end closed connection without"
http.client.RemoteDisconnected: Remote end closed connection without response
结果分析:应该是headers验证的问题,加上一个headers验证试试看;
2.提取某一页的所有段子
可以看到每一个段子都是<div id='...' class='article block untagged mb 15'>....</div>包裹的内容
现在我想获取发布人,段子内容,以及点赞的个数。如果我们想在控制台显示图片是不现实的,所以我们直接把带有图片的段子给它剔除掉,只保存仅含文本的段子。
所以加入如下的正则表达式:(正则表达式写的有些乱,结果倒是爬出来了)
忽略图片的正则表达式(
)
考虑图片的正则表达式:
部分运行结果:
家福装饰不装饰 小学时,特别喜欢欺负一个同学,每次他都是敢怒不敢言。<br/>奇怪的是:某个星期天,他居然非常热情的邀请我去他家玩,还说家里有许多好吃的。盛情难却就去了!<br/>尼玛,我终于知道,土狗不但会叫还真的会咬人
4756
【星空】小静 早上洗了头发没找到吹风筒,就湿嗒嗒的垂头梳着…<br/>老妈看到说:人家贞子从电视机里钻出来,你这是从下水道爬上来的吧.
4000
..
4464
易精经 今天上班,听老板娘讲她和老板相亲的事——第一次见面,问他:有没有车?他:有,十几辆大众。到了他的生产车间,发现真的有十几辆大众牌,缝纫车!
3248
正则表达式分析:
(1).*?是一个固定搭配,.和*可以匹配任意无限多个字符,加上?表示非贪婪模式进行匹配,也就是我们会尽可能短地做匹配,以后我们还会大量用到.*?的搭配。
(2)(.*?)代表一个分组,在这个正则表达式中,我匹配了三个分组,在后面的遍历item中,item[0]就代表第一个(.*?)代表的内容,以此类推。
(3)re.S表示在匹配时为点任意模式,点也可以表示换行符。
注意:我们获取的内容如果带有图片,直接输出来出来比较繁琐,所以我们只获取下不带图片的段子就好了。
所以,在这里我们就需要对带图片的段子进行过滤。
我们可以发现,带有图片的段子会有类似下面的代码,而不带图片的则没有,所以,我们的正则表达式的item[2]就是获取了下面的内容,如果不带图片,item[2]获取的内容就是空。
<div class="thumb">
<a href="/article/118800168" target="_blank">
<img src="http://pic.qiushibaike.com/system/pictures/11880/118800168/medium/app118800168.jpg" alt="标准五个字" />
</a>
</div>
所以我们只需要判断item[3]中是否含有img标签就可以了。所以将下面的for循环改进:
部分结果:
骗人骗心骗自己
刚到家就看见老妈不知因为什么再说老爸,老妈样子太强势,我觉得我该说俩句,:妈说俩句就行了,给我爸留点面子。我爸怒吼到:你快给爸找个女婿就比啥都强!!!我……我……
4332
临摹你的乖
一份拉面没吃饱,怕被嫌弃能吃,就又打包了一份,回去坐小区花园吃的正香呢,感觉有个人影站我面前了,抬头就看见面馆老板手拎外卖盒一脸懵逼的看着我…!!
2971
等她来泡
附近的人好不容易约了个美女,完事后问美女是因为欲望需求嘛?美女雷人的回答:我要在婚前玩够50个男人,听后怎么感觉好像是我被她玩了,还搭了开房吃饭的费用……
4694
按下回车,读取一个段子,显示段子的发布人,内容以及点赞数。
另外我们需要设计面向对象模式,引入类和方法,将带啊做一下优化和封装,最后,代码如下:
然而并没有运行出结果,等深入学习再来研究
部分转载自:静觅 »
Python爬虫实战一之爬取糗事百科段子
(1)抓取糗事百科热门段子
(2)过滤带有图片的段子
(3)实现没按一次回车显示一个段子的发布时间,发布人,段子内容,点赞数
糗事百科是不需要登录的,所以也没必要用到cookie,另外糗事百科有的段子是附图的,把图片抓下来不利于显示,所以尝试过滤掉有图的段子
1.确定URL并抓取页面代码
首先确定好页面的url是:http://www.qiushibaike.com/8hr/page/1,其中最后一个数字1代表页数,我们可以传入不同的值来获得某一页的段子先用最简单的代码来实现抓取看看能不能成功
import urllib.request import urllib.error from urllib.request import urlopen page=1 url='http://www.qiushibaike.com/hot/page/'+str(page) try: request=urllib.request.Request(url) response=urllib.request.urlopen(request) print(response.read()) except urllib.error.URLError as e: if hasattr(e,'code'): print(e.code) if hasattr(e,'reason'): print(e.reason)
运行结果:
raise RemoteDisconnected("Remote end closed connection without"
http.client.RemoteDisconnected: Remote end closed connection without response
结果分析:应该是headers验证的问题,加上一个headers验证试试看;
import urllib.request import urllib.error from urllib.request import urlopen page=1 url='http://www.qiushibaike.com/hot/page/'+str(page) headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; rv:52.0) Gecko/20100101 Firefox/52.0'} try: request=urllib.request.Request(url,headers=headers) response=urllib.request.urlopen(request) print(response.read()) except urllib.error.URLError as e: if hasattr(e,'code'): print(e.code) if hasattr(e,'reason'): print(e.reason) 运行结果:打印出了第一页的HTML代码
2.提取某一页的所有段子
可以看到每一个段子都是<div id='...' class='article block untagged mb 15'>....</div>包裹的内容现在我想获取发布人,段子内容,以及点赞的个数。如果我们想在控制台显示图片是不现实的,所以我们直接把带有图片的段子给它剔除掉,只保存仅含文本的段子。
所以加入如下的正则表达式:(正则表达式写的有些乱,结果倒是爬出来了)
忽略图片的正则表达式(
pattern = re.compile('<div class="author clearfix">.*?title=.*?<h2>(.*?)</h2>.*?<div class="content">.*?<span>(.*?)</span>.*?<div class="stats">.*?class="number">(.*?)</i>',re.S)
)
考虑图片的正则表达式:
content=response.read().decode('utf-8')
pattern = re.compile('<div class="author clearfix">.*?title=.*?<h2>(.*?)</h2>.*?<div class="content">.*?<span>(.*?)</span>.*?</div>.*?</a>(.*?)<div class="stats">.*?class="number">(.*?)</i>',re.S) items = re.findall(pattern, content) for item in items: print (item[0],item [1],item [2],item [3])
部分运行结果:
家福装饰不装饰 小学时,特别喜欢欺负一个同学,每次他都是敢怒不敢言。<br/>奇怪的是:某个星期天,他居然非常热情的邀请我去他家玩,还说家里有许多好吃的。盛情难却就去了!<br/>尼玛,我终于知道,土狗不但会叫还真的会咬人
4756
【星空】小静 早上洗了头发没找到吹风筒,就湿嗒嗒的垂头梳着…<br/>老妈看到说:人家贞子从电视机里钻出来,你这是从下水道爬上来的吧.
4000
..
4464
易精经 今天上班,听老板娘讲她和老板相亲的事——第一次见面,问他:有没有车?他:有,十几辆大众。到了他的生产车间,发现真的有十几辆大众牌,缝纫车!
3248
正则表达式分析:
(1).*?是一个固定搭配,.和*可以匹配任意无限多个字符,加上?表示非贪婪模式进行匹配,也就是我们会尽可能短地做匹配,以后我们还会大量用到.*?的搭配。
(2)(.*?)代表一个分组,在这个正则表达式中,我匹配了三个分组,在后面的遍历item中,item[0]就代表第一个(.*?)代表的内容,以此类推。
(3)re.S表示在匹配时为点任意模式,点也可以表示换行符。
注意:我们获取的内容如果带有图片,直接输出来出来比较繁琐,所以我们只获取下不带图片的段子就好了。
所以,在这里我们就需要对带图片的段子进行过滤。
我们可以发现,带有图片的段子会有类似下面的代码,而不带图片的则没有,所以,我们的正则表达式的item[2]就是获取了下面的内容,如果不带图片,item[2]获取的内容就是空。
<div class="thumb">
<a href="/article/118800168" target="_blank">
<img src="http://pic.qiushibaike.com/system/pictures/11880/118800168/medium/app118800168.jpg" alt="标准五个字" />
</a>
</div>
所以我们只需要判断item[3]中是否含有img标签就可以了。所以将下面的for循环改进:
for item in items: haveImg=re.search('img',item[2]) if not haveImg: print (item[0]+'\n'+item [1]+'\n'+item [3]) 整体代码如下:
import urllib.request
import urllib.error
import re
from urllib.request import urlopen
page=1
url='http://www.qiushibaike.com/hot/page/'+str(page)
headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; rv:52.0) Gecko/20100101 Firefox/52.0'}
try:
request=urllib.request.Request(url,headers=headers)
response=urllib.request.urlopen(request)
content=response.read().decode('utf-8')pattern = re.compile('<div class="author clearfix">.*?title=.*?<h2>(.*?)</h2>.*?<div class="content">.*?<span>(.*?)</span>.*?</div>.*?</a>(.*?)<div class="stats">.*?class="number">(.*?)</i>',re.S)
items = re.findall(pattern, content)
for item in items:
haveImg=re.search('img',item[2])
if not haveImg:
print (item[0]+'\n'+item [1]+'\n'+item [3])
except urllib.error.URLError as e:
if hasattr(e,'code'):
print(e.code)
if hasattr(e,'reason'):
print(e.reason)
部分结果:
骗人骗心骗自己
刚到家就看见老妈不知因为什么再说老爸,老妈样子太强势,我觉得我该说俩句,:妈说俩句就行了,给我爸留点面子。我爸怒吼到:你快给爸找个女婿就比啥都强!!!我……我……
4332
临摹你的乖
一份拉面没吃饱,怕被嫌弃能吃,就又打包了一份,回去坐小区花园吃的正香呢,感觉有个人影站我面前了,抬头就看见面馆老板手拎外卖盒一脸懵逼的看着我…!!
2971
等她来泡
附近的人好不容易约了个美女,完事后问美女是因为欲望需求嘛?美女雷人的回答:我要在婚前玩够50个男人,听后怎么感觉好像是我被她玩了,还搭了开房吃饭的费用……
4694
3.完善交互,设计面向对象模式
最核心的部分已经完成,剩下的就是修一下边边角角的东西,我们想要达到的目的是:按下回车,读取一个段子,显示段子的发布人,内容以及点赞数。
另外我们需要设计面向对象模式,引入类和方法,将带啊做一下优化和封装,最后,代码如下:
import urllib.request import urllib.error import threading import time import re from urllib.request import urlopen #糗事百科爬虫类 class QSBK: #初始化方法,定义一些变量 def __init__(self): self.pageIndex=1 #初始化headers self.user_agent='Mozilla/5.0 (Windows NT 6.1; rv:52.0) Gecko/20100101 Firefox/52.0' self.headers={'User-Agent':self.user_agent} #存放段子的变量,每一个元素时每一页的段子们 self.stories=[] #存放程序是否继续运行的变量 self.enable=False #传入某一页的索引获取页面代码 def getPage(self,pageIndex): try: url = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex) #构建请求的request request=urllib.request.Request(url,headers=self.headers) #利用urlopen获取页面代码 response=urllib.request.urlopen(request) #读取代码,并将代码转化成utf-8格式 pagecode=response.read().decode('utf-8') return pagecode except urllib.error.URLError as e: if hasattr(e,'reason'): print(u'连接糗百失败,错误原因',e.reason) return None #传入某一页的代码,返回本业不带图片的段子列表 def getPageItems(self,pageIndex): pageCode=self.getPage(pageIndex) if not pageCode: print('页面加载失败') return None pattern = re.compile('<div class="author clearfix">.*?title=.*?<h2>(.*?)</h2>.*?<div class="content">.*?<span>(.*?)</span>.*?</div>.*?</a>(.*?)<div class="stats">.*?class="number">(.*?)</i>',re.S) items = re.findall(pattern, pageCode) #用来存储每页的段子们 pageStories=[] #遍历正则表达式匹配的信息 for item in items: #是否含有图片 haveImg=re.search('img',item[2]) #如果不含有图片,把它加入到list中 if not haveImg: replaceBR=re.compile('<br/>') # re.sub实现正则表达式的替换,将<br/>换成'\n' text=re.sub(replaceBR,'\n',item[1]) #strip() 方法用于移除字符串头尾指定的字符(默认为空格) pageStories.append([item[0].strip(),item[1].strip(),item[3].strip()]) return pageStories #加载并提取页面中的内容,加入到列表中 def loadPage(self): #如果当前为看的页面少于2页,则加载新一页 if self.enable==True: if len(self.stories)<2: #获取新一页 pageStories=self.getPageItems(self.pageIndex) #将该业的段子存放到全局list中 if pageStories: self.stories.append(pageStories) #获取完之后页码索引加一,表示 下次读取下一页 self.pageIndex+=1 #调用该方法,每次敲回车打印输出一个段子 def getOneStory(self,page a9d3 Stories,page): #遍历一页的段子 for story in pageStories: #等待用户输入 input = input() #每当回车一次,判断一下是否要加载新页面 self.loadPage() #如果输入Q则程序结束 if input=='Q': self.enable=False return print('第%页\t发布人:%s\t发布内容:%s\t赞:%s\n%s'%(page,story[0],story[1],story[2])) def start (self): print(u'正在读取糗事百科,按回车查看新段子,Q退出') #使变量为True,程序可以正常运行 self.enable=True #先加载一页的内容 self.loadPage() #局部变量,空中当前读到了第几页 nowPage=0 while self.enable: if len(self.stories)>0: #从全局list中获取一页的段子 pageStories=self.stories[0] #当前读到的页数加一 nowPage+=1 #将全局list中第一个元素删除,因为已经取出 del self.stories[0] #输出该页的段子 self.getOneStory(pageStories,nowPage) spider=QSBK() spider.start()
然而并没有运行出结果,等深入学习再来研究
部分转载自:静觅 »
Python爬虫实战一之爬取糗事百科段子
相关文章推荐
- Python爬虫教程——实战一之爬取糗事百科段子
- 转 Python爬虫实战一之爬取糗事百科段子
- python爬虫实战 - 糗事百科数据的爬取
- 芝麻HTTP:Python爬虫实战之爬取糗事百科段子
- Python爬虫实战(六):爬取糗事百科段子
- Python爬虫实战(1):爬取糗事百科段子
- python3爬虫(二)实战- 爬糗事百科
- Python爬虫实战一之爬取糗事百科段子
- 静觅 » Python爬虫实战一之爬取糗事百科段子
- Python多线程爬虫实战_爬取糗事百科段子的实例
- Python爬虫实战一之爬取糗事百科段子
- Python爬虫实战一之爬取糗事百科段子
- Python爬虫实战一:爬取糗事百科的文本段子
- Python爬虫学习,实战一糗事百科(2017/7/21更新)
- Python爬虫实战一之爬取糗事百科段子
- Python爬虫实战一之爬取糗事百科段子
- Python爬虫实战之爬取糗事百科段子
- Python爬虫实战一之爬取糗事百科段子
- Python 爬虫 —— 糗事百科爬虫实战
- python爬虫入门 实战(一)---爬糗事百科