爬虫解析2:pyquery总结
2017-04-13 11:20
351 查看
使用 pyQuery 解析HTML内容 https://segmentfault.com/a/1190000005182997 http://blog.csdn.net/cnmilan/article/details/8727308
安装 pyquery 即可:
pip install pyquery
初始化:
直接加载一个html串
v_source=pq("")
加载位于指定路径下的html文件
v_source=pq(filename=path_to_html_file)
加载url地址直接进行解析
v_source=pq(url='http://yunvs.com/list/mai_1.html')
网页请求
PyQuery 本身还有网页请求功能,而且会把请求下来的网页代码转为 PyQuery 对象。
一般我们不会用 PyQuery 来做网络请求,仅仅是用来解析。
from pyquery import PyQuery as pq
print pq('http://cuiqingcai.com/', headers={'user-agent': 'pyquery'})
print pq('http://httpbin.org/post', {'foo': 'bar'}, method='post', verify=True)
GET,POST,样样通。
例子:
遍历
遍历用到 items 方法返回对象列表,或者用 lambda
运行结果
=================================================================
例子:使用PyQuery爬取豆瓣某电影的演员表:
HTML:
PY:
结果:
=============方法1==============
9
<a href="/celebrity/1005773/" rel="v:starring">克里斯蒂安·贝尔</a> / <a href="/celebrity/1054509/" rel="v:starring">迈克尔·凯恩</a> / <a href="/celebrity/1031220/" rel="v:starring">连姆·尼森</a> / <a href="/celebrity/1053558/" rel="v:starring">凯蒂·霍尔姆斯</a> / <a href="/celebrity/1010507/" rel="v:starring">加里·奥德曼</a> / <a href="/celebrity/1047992/" rel="v:starring">基里安·墨菲</a> / <a href="/celebrity/1036397/" rel="v:starring">汤姆·威尔金森</a> / <a href="/celebrity/1054534/" rel="v:starring">摩根·弗里曼</a> / <a href="/celebrity/1027181/" rel="v:starring">渡边谦</a>
克里斯蒂安·贝尔
迈克尔·凯恩
连姆·尼森
凯蒂·霍尔姆斯
加里·奥德曼
基里安·墨菲
汤姆·威尔金森
摩根·弗里曼
渡边谦
18
=============方法2==============
蝙蝠侠:侠影之谜 Batman Begins
克里斯蒂安·贝尔
迈克尔·凯恩
连姆·尼森
凯蒂·霍尔姆斯
加里·奥德曼
基里安·墨菲
汤姆·威尔金森
摩根·弗里曼
渡边谦
安装 pyquery 即可:
pip install pyquery
初始化:
直接加载一个html串
v_source=pq("")
加载位于指定路径下的html文件
v_source=pq(filename=path_to_html_file)
加载url地址直接进行解析
v_source=pq(url='http://yunvs.com/list/mai_1.html')
网页请求
PyQuery 本身还有网页请求功能,而且会把请求下来的网页代码转为 PyQuery 对象。
一般我们不会用 PyQuery 来做网络请求,仅仅是用来解析。
from pyquery import PyQuery as pq
print pq('http://cuiqingcai.com/', headers={'user-agent': 'pyquery'})
print pq('http://httpbin.org/post', {'foo': 'bar'}, method='post', verify=True)
GET,POST,样样通。
例子:
from pyquery import PyQuery as pyq html = ''' <html> <title>这是标题</title> <body> <p id="hi">Hello</p> <ul> <li>list1</li> <li>list2</li> </ul> </body> </html> ''' jq = pyq(html) print jq('title') # 获取 title 标签的源码 # <title>这是标题</title> print jq('title').text() # 获取 title 标签的内容 # 这是标题 print jq('#hi').text() # 获取 id 为 hi 的标签的内容 # Hello li = jq('li') # 处理多个元素 for i in li: print pyq(i).text() # list1 # list2
遍历
遍历用到 items 方法返回对象列表,或者用 lambda
from pyquery import PyQuery as pq doc = pq(filename='hello.html') lis = doc('li') for li in lis.items(): print li.html() print lis.each(lambda e: e)
运行结果
first item <a href="link2.html">second item</a> <a href="link3.html"><span class="bold">third item</span></a> <a href="link4.html">fourth item</a> <a href="link5.html">fifth item</a> <li class="item-0">first item</li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-1 active"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a></li>
=================================================================
例子:使用PyQuery爬取豆瓣某电影的演员表:
HTML:
<h1> <span property="v:itemreviewed">蝙蝠侠:侠影之谜 Batman Begins</span> <span class="year">(2005)</span> </h1> <div id="info"> <span ><span class='pl'>导演</span>: <span class='attrs'><a href="/celebrity/1054524/" rel="v:directedBy">克里斯托弗·诺兰</a></span></span><br/> <span ><span class='pl'>编剧</span>: <span class='attrs'><a href="/celebrity/1054524/">克里斯托弗·诺兰</a> / <a href="/celebrity/1036537/">大卫·S·高耶</a></span></span><br/> <span class="actor"><span class='pl'>主演</span>: <span class='attrs'><a href="/celebrity/1005773/" rel="v:starring">克里斯蒂安·贝尔</a> / <a href="/celebrity/1054509/" rel="v:starring">迈克尔·凯恩</a> / <a href="/celebrity/1031220/" rel="v:starring">连姆·尼森</a> / <a href="/celebrity/1053558/" rel="v:starring">凯蒂·霍尔姆斯</a> / <a href="/celebrity/1010507/" rel="v:starring">加里·奥德曼</a> / <a href="/celebrity/1047992/" rel="v:starring">基里安·墨菲</a> / <a href="/celebrity/1036397/" rel="v:starring">汤姆·威尔金森</a> / <a href="/celebrity/1054534/" rel="v:starring">摩根·弗里曼</a> / <a href="/celebrity/1027181/" rel="v:starring">渡边谦</a></span> </span><br/> <span class="pl">类型:</span> <span property="v:genre">剧情</span> / <span property="v:genre">动作</span> / <span property="v:genre">科幻</span> / <span property="v:genre">惊悚</span> / <span property="v:genre">犯罪</span><br/> <span class="pl">制片国家/地区:</span> 美国 / 英国<br/> <span class="pl">语言:</span> 英语 / 乌尔都语 / 汉语普通话<br/> <span class="pl">上映日期:</span> <span property="v:initialReleaseDate" content="2005-06-29(中国大陆)">2005-06-29(中国大陆)</span> / <span property="v:initialReleaseDate" content="2005-06-15(美国)">2005-06-15(美国)</span><br/> <span class="pl">片长:</span> <span property="v:runtime" content="140">140分钟</span><br/> <span class="pl">又名:</span> 蝙蝠侠前传1:侠影之谜 / 蝙蝠侠:开战时刻(台) / 蝙蝠侠-侠影之谜(港) / 蝙蝠侠前传 / 蝙蝠侠5 / 蝙蝠侠诞生<br/> <span class="pl">IMDb链接:</span> <a href="http://www.imdb.com/title/tt0372784" target="_blank" rel="nofollow">tt0372784</a><br> </div>
PY:
# coding=utf-8 from pyquery import PyQuery as pyq jq=pyq(url='http://movie.douban.com/subject/1309069/') print("=============方法1==============") #print(jq.html()) info=jq("#info").find("a[rel='v:starring']") print(len(info)) print(info) for data in info: print(jq(data).text()) otherInfo=jq("span[class='pl']") #otherInfo=jq("#info").find("span[class='pl']") print(len(otherInfo)) #print(otherInfo) print("=============方法2==============") starring = jq("a[rel='v:starring']").map(lambda i,e:pyq(e).text()) print(jq("span[property='v:itemreviewed']").text()) for data in starring: print(data)
结果:
=============方法1==============
9
<a href="/celebrity/1005773/" rel="v:starring">克里斯蒂安·贝尔</a> / <a href="/celebrity/1054509/" rel="v:starring">迈克尔·凯恩</a> / <a href="/celebrity/1031220/" rel="v:starring">连姆·尼森</a> / <a href="/celebrity/1053558/" rel="v:starring">凯蒂·霍尔姆斯</a> / <a href="/celebrity/1010507/" rel="v:starring">加里·奥德曼</a> / <a href="/celebrity/1047992/" rel="v:starring">基里安·墨菲</a> / <a href="/celebrity/1036397/" rel="v:starring">汤姆·威尔金森</a> / <a href="/celebrity/1054534/" rel="v:starring">摩根·弗里曼</a> / <a href="/celebrity/1027181/" rel="v:starring">渡边谦</a>
克里斯蒂安·贝尔
迈克尔·凯恩
连姆·尼森
凯蒂·霍尔姆斯
加里·奥德曼
基里安·墨菲
汤姆·威尔金森
摩根·弗里曼
渡边谦
18
=============方法2==============
蝙蝠侠:侠影之谜 Batman Begins
克里斯蒂安·贝尔
迈克尔·凯恩
连姆·尼森
凯蒂·霍尔姆斯
加里·奥德曼
基里安·墨菲
汤姆·威尔金森
摩根·弗里曼
渡边谦
相关文章推荐
- 【python爬虫专题】解析方法 <1> Urllib库方法总结
- Android基础学习总结(十三)——利用jsoup解析html实现网络爬虫
- 爬虫解析1:XPath总结
- 【python爬虫专题】解析方法 <2> Requests库方法总结
- 爬虫之pyquery 解析html
- JavaScript解析XML的方法总结
- java 知识点总结 --java解析.mdb文件的表名
- JavaScript解析XML的方法总结
- 读《OOA&D实践之路——真实案例解析OO理论与实践(一)》总结
- Lucene学习总结之七:Lucene搜索过程解析(3)
- AJAX(Javascript)解析xml简略总结
- 用c/c++语言写的一个小的“爬虫”程序学习过程总结
- 3、java设置Linux系统时间之 正则表达式解析时间 及总结
- java对XML文件的解析、节点的增加、删除操作总结
- flv地址解析下载方法归纳总结
- Dom4J解析XML总结
- javascript解析xml的简单总结
- 网页爬虫及解析
- [原创]MS Enterprise Library Policy Injection Application Block 深入解析[总结篇]
- XML文件解析技术总结(二)