【更新】比较智能的爬取姓名
2016-03-11 21:51
369 查看
接前面的博文,前面不好控制抓取的页数,现在可以较好的控制~~看看代码
#coding=utf-8 import urllib,urllib2 import re from bs4 import BeautifulSoup import time import sys reload(sys) sys.setdefaultencoding('utf-8') #获取要下载图片的整个页面的信息 def getHtml(url): page=urllib2.urlopen(url) html=page.read() # print html return html #筛选数据并打印到本地 def getImg(html): soup=BeautifulSoup(html,'html.parser') dls=soup.find_all('dl',attrs={'class':'feed_list'}) for index in range(len(dls)): p=dls[index].find_all('p')[0] print p.text f=open("testname.txt","a") for index in range(len(dls)): nicheng=dls[index].find_all('p')[0].text f.write(nicheng) f.write('\r\n') f.close() user_agent='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_4) AppleWebKit/600.7.12 (KHTML, like Gecko) Version/8.0.7 Safari/600.7.12' headers={"User-Agent":user_agent} page=59 length=0 while page<100000: url='http://www.qzone.cc/wangming/day/list_'+str(page)+'.html' print "正在爬取第"+str(page)+"页......." # print "这里呢" request=urllib2.Request(url,headers=headers) html=getHtml(request) # soup=BeautifulSoup(open('nextmingzi.html'),"html.parser") soup=BeautifulSoup(html,"html.parser") li=soup.find_all('li',attrs={'class':'next'})[0] a=li.find_all('a')[0]['href'] print str(a) getImg(html) if(str(a)=='javascript:;'): print "最后一页啦........" break else: page=page+1 continue time.sleep(0.5) f=open('testname.txt','r') lines=f.readlines() print "当前一共"+str(len(lines))+"条昵称" f.close()就是以前说的,分析一下前面几页的“下一页”和最后一页的“下一页”的href,就可以看到区别了。。。。感觉我这个比较low~~不过也能实现,嘿嘿
相关文章推荐
- Python3写爬虫(四)多线程实现数据爬取
- Scrapy的架构介绍
- 爬虫笔记
- IE:“自动完成”功能
- Nodejs爬虫进阶教程之异步并发控制
- C#实现开机自动启动设置代码分享
- jQuery实现首页顶部可伸缩广告特效代码
- 一个不太让人讨厌的自动弹出窗口
- C#中winform实现自动触发鼠标、键盘事件的方法
- WordPress 单页面上一页下一页的实现方法【附代码】
- Oracle自动备份及自动备份步骤
- jQuery 实现自动填充邮箱功能(带下拉提示)
- 点图片上一页下一页翻页效果
- JSP + ajax实现输入框自动补全功能 实例代码
- 自动跳转中英文页面
- 如何优雅地使用c语言编写爬虫
- js实现每日自动换一张图片的方法
- C#实现延时并自动关闭MessageBox的方法
- PHP实现简单爬虫的方法
- NodeJS制作爬虫全过程(续)