scrapy 一次性提取多层嵌套标签的所有文本
2017-12-18 17:17
176 查看
怎样才能一次性提取多层嵌套标签的所有文本,而不是通过循环判断来进行拼接呢。详细如下:
假如页面如下:
我要的提取结果是:helloworld!
这里就需要注意text()的使用了:
首先设置sel = Selector(text=doc, type='html')
#如果text()前面使用一个反斜杠:sel.xpath("//p[@id='test']/text()").extract()
得到的结果是:[u'hello']
#如果text()前面使用两个反斜杠:sel.xpath("//p[@id='test']//text()").extract()
这样提取出来的是一个列表,得到的结果是:[u'hello', u'world!']
然后再将列表循环拼接即可得到想要的结果:helloworld!。
转自:http://www.cnblogs.com/qlshine/p/5926101.html
假如页面如下:
<p id='test'>hello<b>world!</b></p>
我要的提取结果是:helloworld!
这里就需要注意text()的使用了:
首先设置sel = Selector(text=doc, type='html')
#如果text()前面使用一个反斜杠:sel.xpath("//p[@id='test']/text()").extract()
得到的结果是:[u'hello']
#如果text()前面使用两个反斜杠:sel.xpath("//p[@id='test']//text()").extract()
这样提取出来的是一个列表,得到的结果是:[u'hello', u'world!']
然后再将列表循环拼接即可得到想要的结果:helloworld!。
转自:http://www.cnblogs.com/qlshine/p/5926101.html
相关文章推荐
- scrapy 一次性提取多层嵌套标签的所有文本
- 调用下面的方法屏蔽所有html标签提取文本
- scrapy xpath提取标签
- asp.net提取多层嵌套json数据的方法
- 提取多层嵌套Json数据
- php版getElementById , 栈的查找匹配,html标签多层嵌套也很ok
- 5.在p标签里不能嵌套所有快属性的标签
- asp.net正则表达式提取网页网址、标题、图片实例以及过滤所有HTML标签实例
- 提取多层嵌套Json数据
- 删除html标签得到纯文本可处理嵌套的标签
- 提取多层嵌套Json数据
- input和textarea标签的select()方法----选中文本框中的所有文本
- C# json提取多层嵌套到数组
- asp.net正则表达式提取网页网址、标题、图片实例以及过滤所有HTML标签实例
- scrapy提取不在标签内文字
- Textrank权值提取文本标签提取
- xpath提取目录下所有标签内的内容,递归 //text()
- 删除html标签得到纯文本可处理嵌套的标签