Python 爬虫知识点 - XPath
2016-12-14 22:17
477 查看
http://cuiqingcai.com/2621.html
一、基础介绍
<bookstore>
<book>
<title>Harry Potter</title>
<author>J K. Rowling</author>
<year>2005</year>
<price>29.99</price>
</book>
</bookstore>
bookstore : 选取 bookstore 元素的所有子节点。
/bookstore : 选取根元素 bookstore。注释:假如路径起始于正斜杠( / ),则此路径始终代表到某元素的绝对路径!
bookstore/book : 选取属于 bookstore 的子元素的所有 book 元素。
//book : 选取所有 book 子元素,而不管它们在文档中的位置。
bookstore//book : 选择属于 bookstore 元素的后代的所有 book 元素,而不管它们位于 bookstore 之下的什么位置。
//@lang : 选取名为 lang 的所有属性。
/bookstore/book[1] : 选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()] : 选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1] : 选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<3] : 选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang] : 选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang=’eng’] : 选取所有 title 元素,且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00] : 选取 bookstore 元素的所有 book 元素,且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]/title : 选取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值须大于 35.00。
二、使用场景
http://category.dangdang.com/pg2-cp01.54.06.00.00.00.html
定位链接和标题
response.xpath("//a[@class="pic"]/@href").extract()
response.xpath("//a[@class="pic"]/@title").extract()
定位评论
response.xpath("//a[@name="P_pl"]/text()").extract()
一、基础介绍
<bookstore>
<book>
<title>Harry Potter</title>
<author>J K. Rowling</author>
<year>2005</year>
<price>29.99</price>
</book>
</bookstore>
bookstore : 选取 bookstore 元素的所有子节点。
/bookstore : 选取根元素 bookstore。注释:假如路径起始于正斜杠( / ),则此路径始终代表到某元素的绝对路径!
bookstore/book : 选取属于 bookstore 的子元素的所有 book 元素。
//book : 选取所有 book 子元素,而不管它们在文档中的位置。
bookstore//book : 选择属于 bookstore 元素的后代的所有 book 元素,而不管它们位于 bookstore 之下的什么位置。
//@lang : 选取名为 lang 的所有属性。
/bookstore/book[1] : 选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()] : 选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1] : 选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<3] : 选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang] : 选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang=’eng’] : 选取所有 title 元素,且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00] : 选取 bookstore 元素的所有 book 元素,且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]/title : 选取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值须大于 35.00。
二、使用场景
http://category.dangdang.com/pg2-cp01.54.06.00.00.00.html
定位链接和标题
response.xpath("//a[@class="pic"]/@href").extract()
response.xpath("//a[@class="pic"]/@title").extract()
定位评论
response.xpath("//a[@name="P_pl"]/text()").extract()
相关文章推荐
- Python 爬虫知识点 - 淘宝商品检索结果抓包分析
- 关于Python闭包的理解
- Windows平台使用PyInstaller将Python脚本打包成可执行文件
- python常用模块(模块和包的解释,time模块,sys模块,random模块,os模块,json和pickle序列化模块)
- 执行python manage.py syncdb,报Unknown command: 'syncdb'
- 爬虫第四战爬取糗事百科搞笑段子
- 给深度学习入门者的Python快速教程 - numpy和Matplotlib篇
- 21 Python __del__
- 机器学习-线性回归python简单实现
- gabor变换人脸识别的python实现,att_faces数据集平均识别率99%
- spyder导入tensorflow包
- python里二分法
- Python学习笔记(9)-文件和异常
- python简单单例模式
- Python金融大数据分析-正态性检验
- python2以及pip windows 安装
- python 面向对象的类
- 用pandas和numpy创建DataFrame
- Python函数
- python中 if __name__ == "__main__": 解析