python爬虫获取多页天涯帖子
2018-02-23 14:18
579 查看
今天练习了抓取多页天涯帖子,重点复习的知识包括
- soup.find_all和soup.selcet两个筛选方式对应不同的参数;
- 希望将获取到的多个内容组合在一起返回的时候,要用'zip()'的代码来实现;
- 两层代码结构之间的关系如何构造;
这里有一个疑问:有时候一个标签可以有多个属性,不知道soup.find_all()能不能接受不止一个属性以缩小查找的范围。
# 引入库和请求头文件 import requests from bs4 import BeautifulSoup headers = { 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36' } # 定义主体函数。函数主体由四部分组成: #1.请求网址 #2.解析网页,形成可查找的html格式 #3.通过soup.select或者sopu.find_all查找需要的标签 #4.通过zip()代码将多个内容合并在一起 def get_content(url): res = requests.get(url,headers = headers) res.encoding = 'utf-8' soup = BeautifulSoup(res.text,'html.parser') contents = soup.find_all('div','bbs-content') authors = soup.find_all('a','js-vip-check') for author,content in zip(authors,contents): data = { 'author':author.get_text().strip(), 'content': content.get_text().strip() } print(data) # 在这里构造一个两层链接结构:帖子的1、2、3、4页和帖子的详情页的关系在这里实现 if __name__ == '__main__': urls = ['http://bbs.tianya.cn/post-develop-2271894-{}.shtml'.format(str(i)) for i in range (1,5)] # 要注意,这里的‘5'是不包括在范围里的 for url in urls: get_content(url)
您可能感兴趣的文章:
相关文章推荐
- Python爬虫实战(二):爬取天涯帖子(只看楼主)
- python3 多页爬虫爬取百度贴吧帖子所有图片
- Python爬虫:获取糗事百科笑话
- python爬虫三:获取一个网易用户的所有图片(selenium+phantomjs)
- Python爬虫实战(5):模拟登录淘宝并获取所有订单(1)
- 使用python为爬虫获取免费代理ip
- 【python爬虫】百度贴吧帖子图片批量保存爬虫
- python爬虫(7)——获取京东商品评论信息
- Python爬虫框架Scrapy实战之定向批量获取职位招聘信息
- [置顶] 【python 爬虫】百度贴吧帖子所有楼层图片爬虫
- Python爬虫框架Scrapy实战之定向批量获取职位招聘信息
- python爬虫 使用selenium+phontomjs 模拟点击输入 获取东航加载后的源码 机票价格
- Python 爬虫(获取小说)
- Python爬虫获取JSESSIONID登录网站
- Python Requests爬虫——获取一个收藏夹下所有答案的图片
- Python爬虫学习记录(3)——用Python获取虾米加心歌曲,并获取MP3下载地址
- python3的爬虫算法(1)--获取网页数据
- 零基础掌握百度地图兴趣点获取POI爬虫(python语言爬取)(安装篇、python、第三方库)
- python爬虫获取淘宝妹子信息和相片
- Python 简单爬虫的样例(获取拉钩网Python的职位)