第三百二十六节，web爬虫，scrapy模块,解决重复ur——自动递归url

# -*- coding: utf-8 -*-
import scrapy       #导入爬虫模块
from scrapy.selector import HtmlXPathSelector  #导入HtmlXPathSelector模块
from scrapy.selector import Selector

class AdcSpider(scrapy.Spider):
name = 'adc'                                        #设置爬虫名称
allowed_domains = ['hao.360.cn']
start_urls = ['https://hao.360.cn/']

def parse(self, response):

#这里做页面的各种获取以及处理

#递归查找url循环执行
hq_url = Selector(response=response).xpath('//a/@href')   #查找到当前页面的所有a标签的href，也就是url
for url in hq_url:                                        #循环url
yield scrapy.Request(url=url, callback=self.parse)    #每次循环将url传入Request方法进行继续抓取，callback执行parse回调函数，递归循环

#这样就会递归抓取url并且自动执行了，但是需要在settings.py 配置文件中设置递归深度，DEPTH_LIMIT=3表示递归3层