[Python]python爬虫简单试用
2017-10-05 14:49
141 查看
一直用的是python3.4版本,所以只用了urllib爬数据,然后使用BeautifulSoup做为分析。
1、首先安装BeautifulSoup,执行命令如下:
2、第二步开始写代码,就以我的博客为例,其实代码很简单
不用解释,看看就明白了。
重新整理了一下,最终的代码如下:
一些改进,可以用requests库,不要求很严格的发问下,可以这么做,使用方法如下
替换掉urllib感觉更方便。
1、首先安装BeautifulSoup,执行命令如下:
pip install BeautifulSoup4
2、第二步开始写代码,就以我的博客为例,其实代码很简单
from urllib import request from bs4 import BeautifulSoup fp = request.urlopen("http://www.cnblogs.com/youyuan1980/") html = fp.read() soup = BeautifulSoup(html, 'html.parser') for div in soup.find_all('a',attrs={"class":"postTitle2"}): print(div.get('href')) #显示a标签属性的href print('text:'+div.get_text()) #显示a标签里面的text
不用解释,看看就明白了。
重新整理了一下,最终的代码如下:
from urllib import request from bs4 import BeautifulSoup def GetHtml(url): fp = request.urlopen(url) return fp.read() def GetParser(url): html = GetHtml(url) return BeautifulSoup(html, 'html.parser') if __name__ == '__main__': url = "http://www.cnblogs.com/youyuan1980/" titleParser = GetParser(url) for titlediv in titleParser.find_all('a',attrs={"class":"postTitle2"}): titleurl = titlediv.get('href') titletext = titlediv.get_text() infoParser = GetParser(titleurl) infotext = infoParser.find('div',attrs={"id":"cnblogs_post_body"}) print(titletext) print(infotext)
一些改进,可以用requests库,不要求很严格的发问下,可以这么做,使用方法如下
import requests fp = requests.get(url) print(fp.text)
替换掉urllib感觉更方便。
相关文章推荐
- 2,简单的Python爬虫
- 鱼c笔记——Python爬虫(一):利用urllib进行简单的网页抓取
- python爬虫---post抓取查询数据简单说明
- 使用Python编写简单网络爬虫抓取视频下载资源
- $python爬虫系列(1)——一个简单的爬虫实例
- Python简单爬虫记录
- python妹子图简单爬虫实例
- Python—爬虫—简单爬取豆瓣电影
- python初学者——一个简单的网络爬虫
- 【Python3.6爬虫学习记录】(三)简单的爬虫实践-豆瓣《河神》演员图片及姓名
- Python爬虫1:简单抓取网页
- Python 用Redis简单实现分布式爬虫的方法
- python自学笔记(8)--Python简单爬虫从网站上下载图片和用第三方库request实现百度翻译
- Selenium + PhantomJS + python 简单实现爬虫的功能
- python一个简单的小爬虫
- python实现简单爬虫功能
- Python简单知乎爬虫--爬取页面的图片并下载到本地
- python初学者学习笔记(一)简单的爬虫
- 如何开始写你的第一个python脚本——简单爬虫入门!
- [Python]网络爬虫(六):一个简单的百度贴吧的小爬虫